В Батуме, в апреле 1902 года, Джугашвили впервые попадает в тюрьму, в которой содержится целый год. Затем переводится в кутаисскую тюрьму, дабы осенью 1903 года вновь попасть в зинданы Батума. Откуда он отправляется по этапу в ссылку в Восточную Сибирь.
В январе следующего года Коба совершает побег из ссылки, а летом приезжает в Баку, где и обитает преимущественно до следующего ареста и высылки в Вологодскую губернию.
В городе нефтяников зажигается первый семейный очаг Джугашвили. Он женится на Екатерине Сванидзе, обожавшей молодого подпольщика. Като была простой грузинской женщиной, для которой обязанности супруги составляли всю суть ее жизни. Она была набожна и абсолютно не разделяла революционных устремлений мужа. В течение пяти лет их совместное проживание очень часто прерывалось и, очевидно, ночами в одиночестве Екатерина истово молилась, чтобы ее Иосиф отказался от кочевой жизни революционера и занялся чем-нибудь более основательным. Молитвы бедной женщины не осуществились, родив ребенка мужского пола, она уже в следующем, 1909 году, заболела и умерла. Несомненно, Кобе Джугашвили была нанесена серьезная психологическая травма, но он продолжал заниматься весьма хлопотной революционной политикой. Уже вдовцом приходится ему вести жизнь кочевника и переносить свою долю тягот тюремных заключений и ссылок.
Не совсем ясно, насколько значительную роль сыграл Коба Джугашвили в так называемых «экспроприациях», то есть вооруженных ограблениях закавказских банков. Из них особенно нашумело нападение на Тифлисский государственный банк летом 1907 года, которое пополнило большевистскую казну огромной суммой денег. Эту операцию осуществил сущий сорвиголова, отчаянный и бесстрашный С.А. Тер-Петросян (Камо). Существуют не совсем достоверные свидетельства того, что эти и другие «эксы» в Закавказье, с одобрения Ульянова (Ленина), закулисно организовывал Коба. К тому времени он становится одним из наиболее ярых приверженцев Ленина в этом регионе.
Когда РСДРП раскололась на так называемых большевиков и меньшевиков, Коба Джугашвили однозначно выбирает большевизм. В декабре 1905 года он едет в качестве делегата от Закавказья на первую Всероссийскую большевистскую конференцию в Таммерфорсе. Там, в Финляндии, Коба впервые встречается со своим новым кумиром — Лениным.
Сфера деятельности Кобы Джугашвили постепенно и непрерывно расширяется, он дважды совершает непродолжительные поездки на партийные съезды в Стокгольм и Лондон. Летом 1909 года он бежит из городка Сольвычегодск Вологодской губернии. Однако в марте следующего года вновь подвергается аресту в Баку и осенью высылается обратно, с запретом наместника Кавказа на право проживания в родных краях в течение пяти лет.
