Изъятые при обыске на квартире у Дзержинского вырезки из газет и других официальных изданий со статьями по рабочему вопросу мало его беспокоили. Нелегальные брошюры, находившиеся при нем, тоже не волновали: Феликс твердо решил ни при каких обстоятельствах не говорить, от кого они были получены и кому предназначались. Хуже было то; что в руки жандармов попала его памятная книжка, дневник и список принадлежащих ему книг. Литературы было мало, и он записывал, какую книгу и кому он дал читать.
Опасения Дзержинского были не напрасны. Около года велось следствие. Шаншилову удалось арестовать по его делу 12 человек. У некоторых из них при обыске нашли книги Феликса. Он проклинал себя за неосторожность.
Альдона узнала об аресте брата из газет. Написала ему в тюрьму письмо. В нем было все: горечь, отчаяние и горячее сочувствие. Она умоляла его раскаяться, бросить «юношеские заблуждения».
«Ты называешь меня «беднягой», — читала она ответное письмо от брата, — крепко ошибаешься. Правда, я не могу сказать про себя, что доволен и счастлив, но это ничуть не потому, что я сижу в тюрьме. Я уверенно могу сказать, что гораздо счастливее тех, кто «на воле» ведет бессмысленную жизнь. И если бы мне пришлось выбирать: тюрьма или жизнь на свободе без смысла, я избрал бы первое, иначе и существовать не стоило бы… Тюрьма страшна лишь для тех, кто слаб духом». Далее Феликс сообщал, что благодаря заботам старшего брата Станислава он имеет книги и все необходимое, и… давал советы Альдоне, как воспитывать сына Рудольфика.
«Нет, Фелек все такой же. Он неисправим».
10 июня 1898 года начальник ковенской тюрьмы Набоков объявил Дзержинскому о том, что «государь император высочайше повелеть соизволил» выслать его под гласный надзор полиции на три года в Вятскую губернию.
Альдоне удалось узнать, что партия каторжан и ссыльных, с которой Дзержинскому предстояло следовать по этапу к месту ссылки, отправляется из ковенской тюрьмы 1 августа, и она решила проводить брата.
Всю ночь до рассвета прождала она вместе с другими женщинами у ворот тюрьмы. Наконец в окружении конвойных показалась партия заключенных. Большинство из них было заковано в кандалы.
Феликс шел с гордо поднятой головой. Альдона бросилась к нему, но конвойный солдат грубо оттолкнул ее. Альдона заплакала и тут услышала голос брата:
— Успокойся, не плачь, видишь, я силен.
