Осенью Федора и его товарищей по кружку в училище — Семена и Петра арестовали и отправили в Киевскую тюрьму. Федору тогда было 18 лет. После 4-месячного пребывания в тюрьме и выхода оттуда Федор решил уехать в Одессу.
Новый большой портовый город ослепил его шумом, множеством разноязычных людей. Чтобы лучше узнать рабочий быт, Федор поступил на механический завод Бремера. Вначале он работал чернорабочим, потом стал квалифицированным металлистом. Условия труда на заводе были тяжелыми. Продолжительность рабочего дня 12–14 часов, оплата за труд низкая. К тому же из-за отсутствия охраны труда и техники безопасности на заводе происходили увечья. Наблюдая это, Федор не мог спокойно относиться к такому бесправию. Многие рабочие глухо роптали «на порядки», но открыто говорить об этом не решались, боясь увольнения.
Квартировал Федор в то время у рабочего-металлиста Василия Рыбакова, пожилого степенного человека, всеми уважаемого на заводе. Он-то и свел Федора с передовой группой молодых рабочих. Федор сразу же включился в агитационную работу среди рабочих завода. Он говорил им о стремлении фабрикантов выжимать из рабочих все соки ради увеличения своего капитала, убеждал о необходимости борьбы за свои права. Беседы с рабочими Федор проводил в их квартирах. Он хорошо изучил и знал их быт, нужду и понимал причины ее. Общаясь постоянно с рабочими, Федор снискал их любовь.
В это время он был известен в Одессе под кличкой Федора Бремерского. Администрация завода подсылала к нему провокаторов, шпионов. Его попытались уволить, но из этого ничего не вышло. Он стал уже достаточно известен в рабочей среде, и администрация побоялась «избавиться» от Горбаня.
Период экономического кризиса в России в 1900–1903 гг. тяжело отражался и на рабочих Одессы. Капиталисты снижали заработную плату, увеличивали рабочий день. Появилось много безработных. Рабочие часто бастовали.
После очередного несчастного случая с одним рабочим (со смертельным исходом) Федор и передовые рабочие завода собрали митинг, где он выступил с горячей речью и призывал всех сознательных рабочих к решительным действиям. Постановили объявить забастовку. В разработанных и принятых собранием требованиях были: 8-часовой рабочий день, повышение оплаты труда, установление охраны труда и пр. Но в день объявления забастовки Федор (как один из организаторов ее) и несколько товарищей были арестованы, а забастовка сорвана.
После отбытия 10-месячного наказания в Одесской тюрьме Федор долго скитался без работы и в начале осени 1903 года поступил матросом на пароход. Настроение матросов было боевое, революционное. Федор чувствовал себя прекрасно, не прекращал и здесь подпольной работы: переправлял в Одессу нелегальную литературу из-за границы. Активное участие принял Федор и в первой русской революции 1905 года. Во время восстания матросов на броненосце «Потемкин» он поддерживал связь с восставшими. Часто выступал и на рабочих митингах завода Бремера.
