Родившись около 876 года, Иоанн рано потерял родителей и добывал себе пропитание нехитрой работой пастуха. Однажды хозяин сильно избил его за то, что он потерял корову с теленком. Вместо того чтобы идти искать пропажу, Иоанн всю ночь проплакал перед иконой Спасителя, а наутро корова нашлась.
После этого случая Иоанн ушел в монастырь, где принял иноческий постриг. Через некоторое время он поселился в окрестном лесу в самодельной хижине, питаясь лишь дикими растениями. Как только молва о нем стала распространяться по окрестным селениям, Иоанн покинул свое прибежище, перейдя в еще более глухие, нехоженые места. Несколько раз преподобному приходилось менять место своих подвигов, убегая от людской славы. В конце концов, он поселился на Рыльских горах.
Как-то раз местные пастухи в поисках разбежавшихся овец набрели на хижину преподобного Иоанна. Они увидели поразившую их картину: белобородый старец, с непокрытой головой, босой, в ветхих лохмотьях стоял с распростертыми руками, а испуганные овцы льнули к его ногам. Пастухи удивились, обнаружив человека так далеко в горах. Иоанн угостил их простой пустыннической пищей – бобами, смешанными с кореньями и травой, а затем с миром отпустил. Эти пастухи были первыми, кто сообщил весть, что на горе Рила живет удивительный Божий угодник. Туда через некоторое время стали приходить искавшие уединенной жизни подвижники. Ради них преподобный Иоанн основал монастырь у подножия скалы, на которой он жил. Согласно монастырскому преданию, вначале в нем подвизалось около семидесяти иноков. Много лет преподобный Иоанн был игуменом основанной им обители, наставляя братию примером святой жизни и душеполезными назиданиями.
Однажды вместе с другими жаждущими уединенной пустыннической жизни к Иоанну пришел жить и сын его брата Лука. Видя в молодом еще юноше искреннее желание монашеской жизни, преподобный с любовью принял его. Но недолго им пришлось жить вместе. Брат Иоанна пришел в обитель и силой увел сына, несмотря на все уговоры преподобного. Однако до дому им не суждено было дойти. По пути из расщелины скалы выползла змея, которая укусила Луку, и тот скончался. Несчастный отец вернулся к святому в горьком раскаянии. Пустынник часто ходил потом на могилу праведного юноши, где впоследствии выстроил храм.
Преподобный часто покидал своих учеников, ища то, к чему он стремился всю свою жизнь, – полного уединения, безмолвия и сердечной молитвы. За пять лет до кончины преподобный Иоанн оставил своим ученикам «Завет», в котором преподал правила иноческой жизни и духовные наставления. Это произведение считается одним из лучших творений староболгарской письменности и свидетельствует о высокой культуре и глубокой богословской мудрости автора. Последние пять лет земной жизни преподобный Иоанн провел в полном безмолвии и молитве, скончавшись 31 августа 946 года.
