Соратники Фишмана по партии социалистов-революционеров несколько раз готовили покушения на Коновницына и Каульбарса, однако охранке удавалось их предотвратить. Тогда имевший репутацию серьезного боевика Фишман взял ликвидацию лидера черносотенцев на себя. Но в разгар подготовки этой акции он тоже был внезапно арестован. Правда, улик в отношении него (на то он и был опытным конспиратором) оказалось недостаточно, на суде его оправдали. После освобождения Фишман предпочел отправиться в Москву, где его избрали в состав Московского комитета партии эсеров. Но тут как раз во время партконференции нагрянула полиция, и в итоге Яков снова оказался в тюрьме - на сей раз уже всерьез и надолго. В 1908 году за принадлежность к террористической организации его отправили на поселение в Туруханский край. Советскому человеку, воспитывавшемуся если и не на «Кратком курсе истории ВКП(б)», так на знаменитой песне Юза Алешковского, нет надобности пояснять, что это такое.
В этих гиблых местах побывали не только Фишман и Сосо Джугашвили, но и многие другие революционеры, включая Якова Свердлова и лидера анархистов Льва Черного. Поздней осенью 1908 года здесь вспыхнул бунт ссыльных. Путь повстанцев, разоруживших и убивших нескольких стражников, сперва лежал на Туруханск, который они, захватив полицейское управление и пополнив силы за счет освобожденных политических и уголовников, содержавшихся в местной тюрьме, удерживали в течение нескольких дней. По дороге, в местечке Тунгуска бунтари останавливались на отдых в домике в селении Осиновка, где жил ссыльно-поселенец Фишман. Пытаясь двигаться в сторону Беренгова моря для побега в Америку, бунтари были настигнуты погоней в Хатанге. Часть из них была убита в бою, остальные приговорены к повешению и к вечной каторге. Хотя Фишман и не присоединился к затеянной ими авантюре, но по обвинению в содействии бунтарям его арестовали и этапировали в Енисейск, где он провел год под следствием в тюрьме.
В общей сложности в предреволюционное время Яков Моисеевич провел в заключении и в ссылке пять с половиной лет. Однако в июле 1911 года ему удалось удачно бежать - сначала в Китай, а затем, после длительного морского путешествия, в Италию. Здесь он поступил в Неаполитанский университет, подав в качестве удостоверяющего его личность документа… тюремное свидетельство. (Об этом вспоминал не кто иной, как общавшийся с Фишманом в Италии широко известный сталинский зодчий Борис Иофан, возводивший Дом на набережной.) Интересно, что спустя пару лет тот же маршрут проделал и младший брат Якова Вениамин. Отбыв четыре года каторги, он также сумел сбежать из ссылки в Киренском уезде Иркутской губернии и добраться до Италии. Очутившись в «вечном городе», он поступил на математический факультет Римского университета.
