Точную и просто уничтожающую характеристику дал ему председатель РВС и нарком по военным и морским делам Л. Д. Троцкий: «Ворошилов есть фикция. Его авторитет искусственно создан тоталитарной агитацией. На головокружительной высоте он остался тем, чем был всегда: ограниченным провинциалом без кругозора, без образования, без военных способностей и даже без способностей администратора».
Несмотря на заступничество члена политбюро ЦК Сталина, Троцкому после царицынских «подвигов» командарма-10 удалось таки снять его с должности. Кроме того, ЦК РКП(б) принял специальное постановление, которым запрещал использовать его на командной работе в Красной Армии.
Обстоятельства сложились таким образом, что в июле 1919 г. Клим, отправившийся на Украину, на короткое время все-таки стал командующим 14-й армии. Уже через месяц за самочинную сдачу Харькова деникинским войскам он был предан суду ревтрибунала. Разбирая обстоятельства дела, члены трибунала, как рассказывал историк Р. А. Медведев, пришли к выводу, что военные познания Ворошилова не позволяли доверить ему даже батальон. Невежество командарма было столь велико, что стало… смягчающим вину обстоятельством — трибунал ограничился только отстранением Ворошилова от должности.
Зато присвоить себе чужие успехи он был не прочь. Например, докладывая о борьбе с мятежом Н. А. Григорьева, Климент Ефремович похвалялся: — «Под моим личным руководством банды были разбиты…». Отвергая подобные притязания Ворошилова, командующий Украинским фронтом В. А. Антонов-Овсеенко писал: «Ворошилов был командующим на определенном участке внутреннего фронта. Имел на нем вначале большие неудачи, поправленные удачами на других участках, где командовал не он… Приписывать себе одному успех борьбы с Григорьевым он может лишь по большому недоразумению».
К слову, многие из тех, кто, так или иначе, высказывал независимые суждения о весьма скромных достоинствах Ворошилова как военачальника, сгинули в пучине репрессий: и бывший царский генерал интеллектуал Снесарев, и большевик до мозга костей Антонов-Овсеенко…
С образованием в ноябре 1919 г. Первой Конной армии во главе с Буденным Ворошилов был назначен членом ее РВС. Крупные успехи армии в боях с войсками Деникина и Врангеля должен по праву разделить со всем личным составом и Климент Ефремович. Он стал широко известным, вырос в политическом отношении. Как участник X съезда партии, весной 1921 г. вместе с другими делегатами участвовал в подавлении Кронштадтского восстания. На съезде он был избран членом ЦК РКП(б).
