Получив разрешение от епархиального начальства, отец Иоанн решил поначалу вести дело в скромных размерах. Но сразу же явилось несколько крупных благотворителей, в том числе и талантливый архитектор Н. Н. Никонов, который очень быстро составил проект всех архитектурных работ. С той же быстротой начались сами работы. В короткий двухлетний срок появилось грандиозное сооружение, которое по обширности и красоте не уступает лучшим архитектурным памятникам столицы.
Осенью 1902 года отец Иоанн обратился к петербургскому митрополиту Антонию: «...Я нашел, что это сооружение в столице слишком художественно и обширно, чтобы ему быть подворьем... и что ему лучше быть петербургским самостоятельным женским монастырем в ведении одного митрополита Санкт-Петербургского, с тем неизменным всегда условием, чтобы третья часть доходов обители (только не от доходов каменного пятиэтажного дома при обители) поступала ежегодно в разные сроки года в Сурскую женскую обитель и чтобы на первых порах не облагать эту новую обитель разными обязательствами и налогами, требующими больших денежных расходов». Просьба основателя монастыря была уважена, и Сурское подворье превратилось в Иоанновский женский монастырь, названный так в честь небесного покровителя отца Иоанна — св. Иоанна Рыльского.
17 декабря 1902 года состоялось торжественное освящение главного монастырского храма в честь св. Двенадцати Апостолов с приделами Казанской Божией Матери и св. Андрея Критского. К тому времени в монастыре уже жили монахини, большинство перешло из Сурской общины; тридцать бедных девиц подготовлено к монастырской жизни в Аеушинском монастыре игуменьей Таисией. В подвальном помещении храма находилась еще одна церковь, в честь пророка Илии и преподобной Феодоры, чьи имена носили родители отца Иоанна.
В январе 1909 года определением Святейшего Синода Иоанновский монастырь получил статус первоклассного. Еще при жизни батюшки его молитвами и трудами монастырь стал вполне благоустроенным и находился на полном самообеспечении. В обители проживало более 350 насельниц. В монастыре работали золотошвейная и белошвейная мастерские, типография, большая иконописная мастерская, лазарет на десять коек, просфорня с двумя печами. Перед монастырем с восточной стороны был разбит небольшой сад, а с западной находился образцовый огород, с которого сестры ежегодно снимали богатый урожай, несмотря на его небольшие размеры.
Со дня основания монастыря пошел счет последним годам жизни великого праведника России, все сильней обличал он своих соотечественников в отходе от веры, все грозней были его пророчества о судьбах России. В эти беспокойные годы отец Иоанн очень любил бывать в своей тихой обители на берегу реки Карповки, здесь он отдыхал душой...
