Строительство комплекса обители проводилось исключительно на пожертвования почитателей отца Иоанна во всех частях огромной России. Был сооружен соборный храм монастыря во имя Двенадцати Апостолов с двумя приделами, его венчали 5 мозаичных куполов с золочеными крестами, а на его западной стороне возвышалась колокольня. Собор освятили в 1902 г. Монастырь не получил имя собора, поскольку уже был освящен в 1901 г. небольшой храм в нижнем этаже этого собора – храм во имя Иоанна Рыльского, он и дал имя монастырю. Собор был рассчитан на 1 тысячу богомольцев, украшен тремя одноярусными резными дубовыми иконостасами. Его стены расписывали в русско-византийском стиле художники Ф.К. Платонов и П.К. Вениг (эти росписи утрачены), иконы написали Ф.К. Платонов и М.В. Нестеров. В храме пребывали многочисленные святыни и ценные дары отцу Иоанну, в их числе ризы, подаренные императрицей Александрой Федоровной. Престолы и жертвенники во всех алтарях были выполнены из белого мрамора. Престол главного алтаря украшали рельефные металлические позлащенные изображения праздников. На втором этаже были комнаты, в которых останавливался при приездах в Петербург отец Иоанн: его келья, рабочий кабинет, приемный зал. Отец Иоанн часто возглавлял богослужения в этом храме.
В доме напротив жил причт и богомольцы. Была трапезная на 200 человек, где ежегодно отпускали 15–22 тысячи бесплатных обедов для богомольцев. У монастыря были обширный огород, кухня, хлебная, просфорня и библиотека. Еще в одном корпусе (1907) размещались мастерские – рукодельная и живописная, а также приют для девочек (с 1912 г.), лечебница и лазарет (ежегодно порядка 200 человек получали бесплатные лекарства).
Отец Иоанн, осознавая приближение своей кончины, в 1904 г. получил разрешение быть похороненным в Свято-Иоанновской обители. Под храмом во имя Иоанна Рыльского в крипте (подвальном этаже) по его последнему желанию был устроен придел – белокаменный храм во имя Святых пророка Илии и царицы Феодоры – небесных покровителей родителей отца Иоанна, где всеми уважаемый пастырь желал быть похороненным, что выполнили. На его похоронах присутствовали не менее 60 тыс. человек. Отпевали отца Иоанна митрополит, 3 епископа, 60 священников, 20 дьяконов. Подземная церковь стала храмом-усыпальницей.
В 1923 г. монастырь закрыли, всех его монахинь (около 200) выселили, его богатства национализировали, в его здании устроили общежитие завода «Красный электрик». Монахинь из монастыря (около 210 человек) выгнали и в основном выслали в Казахстан. Некоторым немногим монахиням удалось переселиться в нежилые холодные монастырские подвалы. Все храмы закрыли. Собор перестроили ради создания в нем лаборатории Научно-мелиоративного института. Вход в храм-усыпальницу отца Иоанна в 1926 г. замуровали, а гробницу забетонировали, позже усыпальницу переделали под бомбоубежище. Монастырская община в трудных условиях сохранилась, но существовала на полулегальном, а потом нелегальном положении. В 1932 г. арестовали более 70 сестер. В 1935 г. завершилось полное уничтожение общин сестер Иоанновского монастыря.
