Заручившись такой поддержкой, святитель Иона смог все свои силы направить на укрепление Пермской Церкви. Главным делом жизни святителя стало дальнейшее просвещение наиболее упорно державшихся верований небольших, но очень воинственных народностей Великой Перми — остяков и вогулов. Являясь соседями уже крестившихся зырян, они врывались в их поселения, грабя и принуждая жителей отказываться от истинной веры.
Подобно первосвятителю Пермскому Стефану, святитель Иона встретил на своем пути немало лишений, опасностей и гонений. Неутомимо боролся он с влиянием волхвов и жрецов на простодушный народ, поклонявшийся языческому истукану — Золотой бабе.
В 1462 году епископ Иона был вызван на прения о вере, которые проходили в Уросе, владении пермских языческих князьков. Одержав убедительную победу над главными пермскими волхвами, святитель сумел зажечь светом Христовой истины сердце одного из наиболее влиятельных в тех местах князей (по некоторым сведениям, сына того самого Асыки, от руки которого принял кончину святитель Питирим).
С помощью этого князя, нареченного во святом крещении Михаилом, епископ Иона приступил к искоренению языческих кумирниц и идолов. За 1462–1463 годы проповедью слова Божия епископ Иона окончательно обратил в христианство народы Великой Перми, которую он, по выражению летописца, «добавне крести».
На местах идольских капищ, куда народ привык стекаться для жертвоприношений, святитель строил храмы и открывал при них школы для обучения детей. Из Усть-Выми им были вызваны опытные и знавшие местные обычаи священники, способные продолжить дело просвещения новообращенной паствы. Деятельную помощь Пермскому епископу оказали иноки Троицкой Печорской пустыни. Долгое время они выполнял обязанности приходских священников для христиан, живших на реке Печоре. В главном поселении Перми Чердыни епископ Иона основал монастырь во имя святого апостола Иоанна Богослова, на устройство которого так же, как и на строительство храмов, щедрые пожертвования делали жители Устюга и Новгорода.
В 1468 году Пермские земли пострадали от набега казанских татар. Святитель Иона, не щадя своих сил, старался помочь пострадавшим.
Успешная архипастырская деятельность святителя Ионы укрепила его авторитет среди иерархов Русской Православной Церкви. В 1459 году он был призван в Москву, где принял участие в Соборе, в частности, в составлении послания литовским епископам о хранении верности Православию. Об уважении и доверии, каким Пермский епископ пользовался у тезоименитого митрополита Московского Ионы, свидетельствует прочтение духовного завещания почившего в 1461 году первосвятителя собравшимся в Москве архиереям епископом Ионой.
