К августу того же года, когда был зарегистрирован устав артели, в двух пекарнях с магазинчиком под той же вывеской уже работало около семидесяти человек. Сергей Федорович работал председателем правления артели, совмещая также обязанности члена ревизионной комиссии Москопищепромсоюза. Вскоре семья воссоединилась, а с сентября 1925 года, когда старшие дочери пошли в школу, Любовь Васильевна стала работать в артели счетоводом, совмещая обязанности библиотекаря и члена культкомиссии. В семье серьезно относились к воспитанию дочерей, которые занимались музыкой и живописью с преподавателями, приходящими на дом, спорт был также обязателен.
К 1928 году в артели «Муравейник» — в открытых к тому времени семи пекарнях, девятнадцати магазинах и на одной кондитерской фабрике — работало уже 393 человека. При артели существовали бесплатная столовая, парикмахерская, школа, библиотека, театральный кружок, покупались билеты в ложи театров, постоянно отчислялись деньги в поддержку политзаключенных, находящихся в тюрьмах, лагерях и ссылках.
В конце 1928 года Сергея Федоровича вызвали в Москопищепромсоюз и предложили ввести в состав правления нескольких членов партии большевиков. Он категорически отказался. Его вызывали еще дважды, и в последний раз предупредили, что, если он не примет в артель нужных людей, ее закроют, на что взбешенный Рыбин заявил: «Ну и черт с вами, закрывайте!»
7 января 1929 года Сергей Федорович вместе с большой группой артельщиков был арестован и заключен для дальнейшего следствия в Бутырскую тюрьму; 9 марта 1929 года вместе со всеми арестованными он был приговорен к трем годам ссылки в Северный край и отправлен в Усть-Сысольск. Любовь Васильевна сразу же была исключена из членов артели как жена ссыльного, но позднее по суду добилась своего восстановления, после чего уволилась из артели уже по собственному желанию.
Она устроилась работать заведующей учебной частью в школе для взрослых при типографии «Рабочая Москва». Семья стала жить очень трудно: зарплаты Любови Васильевны (100 рублей) не хватало даже на то, чтобы прокормить семью, да и выдавали деньги с опозданиями, поэтому она постоянно занимала у родных и знакомых или же брала в долг в кассе взаимопомощи. В августе 1930 года Сергею Федоровичу удалось устроиться в Усть-Сысольске на работу, но при всем желании он мог помогать семье лишь небольшими суммами — от 25 до 50 рублей.
Все свободное от работы время Любовь Васильевна посвящала бесконечному поиску продуктов, отстаиванию вместе с детьми громадных очередей, с тем чтобы отоварить талоны на продукты и как-то прокормить семью. С возмущением сообщала она мужу о том, что они получили талоны самой низкой категории:
