Тогда в одной части Кронштадта жили военные, а во второй части – люди, выселенные в него из Петербурга за дурное поведение и неблаговидные поступки. Люди в массе своей были бедными, предавались с отчаяния пьянству, разврату, насилию, воровству (как-то с самого отца Иоанна на окраине города сняли шубу с плеч). Отец Иван начал борьбу за нравственное оздоровление бедных, обездоленных и часто злых людей. Он посещал убогие жилища, утешал людей, кому-то давал деньги на еду, другим – на одежду, обувь, иные нужды, стремился врачевать их души и тело, нередко отдавал нуждающимся свою одежду и обувь. Он говорил: «Злые люди – больные, а больных нужно жалеть больше, чем здоровых». Люди стали постепенно убеждаться, что рядом с ними оказался редкий праведник. Затем люди стали говорить, что по молитве отца Иоанна Господь творит чудеса. Он создавал ясли, странноприимные, ночлежные дома и другие благотворительные учреждения. Отец Иоанн очень много сил отдал созданию в Кронштадте приходских учреждений, в том числе первого в России Дома трудолюбия и Странноприимного дома. Он основал 4 женских монастыря и более 50 подворий, щедро жертвовал средства на создание и украшение храмов в разных частях России.
Отец Иоанн с 1880-х годов получил широкую известность в России и за границей. Он был единственным пастырем Русской православной церкви, которому было разрешено совершать общие проповеди. Ежегодно к нему в Кронштадт приезжали порядка 80 тыс. паломников, в Андреевском соборе собирались до 5–6 тыс. молящихся. Он резко выступал против революционеров, с особой силой обличал их безбожие.
Очень сильное влияние на людей оказывали его проповеди и составленные им молитвы. В одной из проповедей в 1903 г. он говорил: «Уже близко время, что разделится народ на партии, восстанет брат на брата, сын на отца, отец на сына и прольется много крови на Русской земле. Часть русского народа будет изгнана из пределов России; изгнанники вернутся в свои родные края, но не скоро, своих мест не узнают и не будут знать, где их родные похоронены». В своем предсмертном пророчестве в 1908 г. он писал: «Русский народ и другие населяющие Россию племена глубоко развращены, горнило искушений и бедствий для всех необходимо, и Господь, не хотящий никому погибнуть, всех пережигает в этом горниле». В своих тогда еще не всем понятных пророчествах он предсказал убийство царской семьи в Пермской губернии (он сделал это до опубликования аналогичного пророчества Серафима Саровского).
