Сразу после этого, 14 ноября 1927 года Троцкого исключили из партии. Многие троцкисты оказались арестованными. Сталин выступил с заявлением: «Это совсем не случайность, что оппозицию возглавили евреи. Идет настоящая борьба между русским социализмом и чужаками». Лазарь напряг слух. Он знал, что Сталин не любил евреев, но касался этой темы только в частных беседах с доверенными людьми. Теперь он сказал об этом открыто. Лазарь внимательно следил за ходом борьбы с троцкистами. Троцкого с семьей выслали сначала в Алма-Ату, а в 1932 году лишили советского гражданства и выдворили из страны. Лазарь понял, что ему самому теперь надо проявить чудеса приспособляемости, чтобы выжить в таких условиях. Будучи евреем в России, он после поражения Троцкого, находился в очень шаткой позиции, а являясь евреем в партийной верхушке, его положение еще более усугублялось, поскольку он был на самом виду. С уходом Троцкого Лазарь стал самым заметным и влиятельным евреем в правительстве, и он не собирался сдавать своих позиций. Лазарь понимал, что он должен доказать свою преданность.
В 1928 году по приказу Сталина Каганович вернулся в Москву. Во время Восьмого съезда Профсоюзов Лазаря избрали членом Президиума ВЦСПС. Этому назначению он был обязан той роли, которую сыграл в низведении вдовы Ленина - Надежды Константиновны Крупской.
К тому времени Лазарь, став Секретарем ЦК партии и Первым Секретарем Компартии Украины, получил право присутствовать на заседаниях ЦК. Его удивил выбор места этих заседаний. Раньше он считал, что они проводились в Кремле, в зале, расположенном недалеко от кабинета Сталина. Это казалось логичным, и так же думали многие граждане страны. Но оказалось, что заседания проходили на Старой площади 4, а не за кремлевскими стенами. Очень немногие знали, что страной управляли из маленького помещения непримечательного здания в трех кварталах от Красной площади. Глупые люди, думал Лазарь. Они бродят по площади напротив ГУМа, любуются Собором Василия Блаженного и считают, что находятся в центре событий. «Глупцы стоят посреди вымощенной булыжником площади, видят движение машин через Спасские ворота и верят, что за этими мощными стенами работает правительство. Ну и пусть верят! Никому не надо знать, что правительство собирается в другом, незаметном месте. Чем дольше никто не знает, где ты находишься, тем и для тебя надежнее».
В тот день на заседании обсуждался вопрос об индустриализации страны. Лазарь всегда приходил на собрания пораньше, чтобы занять место, с которого ему было бы хорошо видно Сталина, а Сталину был бы виден он. Размеры помещения позволяли вмещать в него человек двенадцать-шестнадцать. Согласно вкусам Сталина, оно имело совсем простую обстановку. В центре размещался прямоугольный стол, а вокруг него - восемь крепких деревянных стульев с прямостоящими спинками, что обязывало сидящих на них не расслабляться. Шесть дополнительных стульев стояло отдельно вдоль стены. Сталин всегда держал для себя два места: одно - во главе стола, а другое - у стены, напротив входной двери. Свет в помещение проникал через единственное окно, которое часто оказывалось завешанным опущенными шторами. В углу стоял маленький столик с графином, наполненным водой. На столе раскладывались листы бумаги и карандаши, и стояли две большие металлические пепельницы. Во время заседания комната быстро заполнялась табачным дымом, исходившим из трубки Сталина и папирос, которые члены ЦК закуривали одна за другой. Лазарь курил только когда жил в Средней Азии. Это немного позволяло скоротать время в отдаленной и скучной части страны. Но папиросы помогали мало, они скорее раздражали его, приходилось часто откашливаться и прочищать горло от неприятного табачного дыма. К тому же табачный дым оказывал плохое влияние на здоровье дочери Майи: у нее развилась аллергия, и в течение всего года она страдала от слезящихся глаз и насморка. Мария буквально отбирала папиросы у Лазаря, а чтобы помочь ему бороться с раздражением, заменила их на четки. Но очень часто его гнев доходил до такого уровня, что четки рвались у него в руках. Его огромные ладони становились еще больше, потому что, перестав курить, он быстро начал полнеть. Теперь он весил больше ста килограммов и уже не влезал в свой коричневый китель. «В этом костюме ты выглядишь как кит», - говорила ему Майя, видя топорщащиеся латунные пуговицы. Лазарь несколько лет носил этот китель, подражая вкусам Сталина. Теперь ему приходилось надевать костюм и галстук, как это делали другие члены ЦК.
