Ситуация объясняется просто: именно в то время поползли слухи о том, что Джугашвили — провокатор, и, похоже, распространял их Рамишвили. Нужно же ему было как-то оправдать преследование человека, который, по сути, создал организацию — и, ничего не говоря прямо, он пустил слух, что в организации появился провокатор, а ожесточенным преследованием Иосифа как бы указал, кто этот провокатор. Прием не слишком чистоплотный, но эффективный и часто использовавшийся — как тогда, так и значительно позднее, например, в диссидентской среде.
В самом деле, задуматься было о чем. К побегу Иосифа ни тифлисская, ни батумская организация отношения не имели, а сам он совершенно не горел желанием отчитываться перед комитетом, кто устроил ему этот побег, и понять его можно — стукачи были везде. Он расскажет — кто, что и как, эти еще проверять кинутся, дойдет до охранки, и в итоге пострадают помогавшие ему люди. Да и кроме того, его ведь никто ни о чем не спрашивал и не предъявлял никаких обвинений. Просто пустили слух — и все…
В марте 1904 года в Батуме прошли крупные аресты, комитет был фактически разгромлен. Во главе нового комитета стал близкий друг старого товарища Кобы Ладо Кецховели, к тому времени погибшего в тюрьме. Узнав об этом, Иосиф вернулся в город, рассчитывая наладить отношения с организацией. К нему отнеслись несколько лучше, хотя и ненамного, но столь откровенно, как раньше, больше не преследовали, даже позволяли участвовать в партийных собраниях. Однако его пребывание в городе было недолгим.
К тому времени отношения между большевиками и меньшевиками достигли если и не предельной, то близкой к тому остроты. 1 мая, во время маевки, проходившей на берегу моря, произошла ссора, которую горячие кавказские парни завершили хорошей дракой. Иосиф, естественно, не остался в стороне и был жестоко избит. В Батуме больше оставаться было нельзя, в Тифлисе его тоже не ждали. Снова оказавшись в отчаянном положении, преследуемый страшным словом «провокатор», он уезжает в Гори.
Казалось бы, все кончено, от партийной работы он отлучен, надо переквалифицироваться в учителя. И тогда он решается на последний шаг — апеллировать к вышестоящему органу, благо к тому времени на Кавказе таковой появился. В 1903 году состоялся I съезд кавказских социал-демократов, где было принято решение об образовании Кавказского союза РСДРП, руководящим органом которого стал Союзный комитет. Самым старшим и уважаемым членом комитета был один из основателей грузинской социал-демократии М. Г. Цхакая, находившийся в то время в глубоком подполье.
