Сотрудник канцелярии Политбюро, а впоследствии беглец-невозвращенец из СССР Борис Бажанов, в лицах передал, как в сентябре 1923 года «тройка» решила нанести первый разгромный удар Троцкому.
23 сентября на Пленуме ЦК «тройка» предложила расширить состав Реввоенсовета. Все новые члены, во главе со Сталиным, оказались противниками Троцкого. Предреввоенсовета обрушился на «эпигонов»-интриганов, попросил родной ЦК освободить его от всех чинов и званий и направить простым солдатом в назревающую, очередную, на взгляд Коминтерна, германскую революцию. «Все это звучало громко и для «тройки» было довольно неудобно. Слово берет Зиновьев с явным намерением придать всему оттенок фарса и предлагает его также освободить от всех должностей и почестей и отправить вместе с Троцким солдатами германской революции. Сталин, окончательно превращая все это в комедию, торжественно заявляет, что ни в коем случае Центральный Комитет не может согласиться рисковать двумя такими драгоценными жизнями, и просит Центральный Комитет не отпускать в Германию своих «любимых вождей». Сейчас же это предложение было самым серьезным образом проголосовано. Все принимало характер хорошо разыгрываемой пьесы, но тут взял слово «голос из народа», ленинградский цекист Комаров с нарочито пролетарскими манерами. «Не понимаю только одного, почему товарищ Троцкий так кочевряжится». Вот это «кочевряжится» окончательно взорвало Троцкого. Он вскочил и заявил: «Прошу вычеркнуть меня из числа актеров этой унизительной комедии». И бросился к выходу. Это был разрыв. В зале царила тишина исторического момента. Но полный негодования Троцкий решил для вящего эффекта, уходя, хлопнуть дверью. Заседание происходило в Тронном зале царского дворца. Дверь зала огромная, железная и массивная. Чтобы ее открыть, Троцкий потянул ее изо всех сил. Дверь поплыла медленно и торжественно. В этот момент следовало сообразить, что есть двери, которыми хлопнуть нельзя. Но Троцкий в своем возбуждении этого не заметил и старался изо всех сил ею хлопнуть. Чтобы закрыться, дверь поплыла так же медленно и торжественно. Замысел был такой: великий вождь революции разорвал со своими коварными клевретами и, чтобы подчеркнуть разрыв, покидая их, в сердцах хлопает дверью. А получилось так: крайне раздраженный человек с козлиной бородкой барахтается на дверной ручке в непосильной борьбе с тяжелой и тупой дверью. Получилось нехорошо».
Троцкий свой окончательный проигрыш в дискуссии против «троцкизма» в 1923 году объясняет болезнью после переохлаждения на своей любимой охоте: «Ленин лежал в Горках, я – в Кремле». Но скорее всего, вождь попросту выдохся, ему было неинтересно заниматься каждодневной рутиной, текучкой. На словах он хотел немедленно, все дальше, в Европе, в Китае свергать правительства, но в действительности разуверился в реальности этих планов до тех пор, пока Советский Союз не пройдет собственную модернизацию. Письмо бывшего царского, а потом красного офицера Булгакову в 1928 году автор завершил так: «И ложь, ложь без конца… Вожди? Эти или человечки, держащиеся за власть и комфорт, которого они никогда не видали, или бешеные фанатики, думающие пробить лбом стену. А сама идея?! Да, идея ничего себе, довольно складная, но абсолютно непретворимая в жизнь, как и учение Христа, но христианство и понятнее и красивее. Так вот-с. Остался я теперь у разбитого корыта. Не материально, нет. Я служу, и по нынешним временам – ничего себе… Но паршиво жить, ни во что не веря. Ведь ни во что не верить и ничего не любить – это привилегия следующего за нами поколения, нашей смены беспризорной».
