Особые старания прилагал преосв. Иосиф к благоустройству духовно-учебных заведений, особенно семинарии.
Воспитанники же духовного училища, помещающегося во дворе Митрофанова монастыря, были как бы его дети. Он смотрел на их игры на училищном дворе, прогуливался с ними на монастырском дворе и среди богомольцев, вне стен монастыря. Беднейших учеников он узнавал не только по платью, но и по робости их, и оделял их часто деньгами, говоря: "Возьми на булку, купи и поделись с товарищами". Он признавал, что мальчикам полезно гулять среди богомольцев и что, под говор деревенских, они лишний раз вспомнят о родном доме.
Он же основал и епархиальное училище.
Через десять лет по назначении на воронежскую кафедру с преосв. Иосифом случилось несчастие, давшее новое направление его жизни.
Слабость зрения была семейным недостатком в родной семье его. При плохом зрении, по служебным обязанностям постоянно вынужденный много читать, он в конец испортил свое зрение.
Однажды, служа в одной приходской церкви, он начал читать евангелие, вдруг прервал чтение и потребовал свечу — одну, другую, несколько, но едва-едва, с подсказыванием служащих, мог дочесть евангелие. С этого дня зрение не возвращалось.
Удивительную при этом он оказал выдержку характера и заботливость к людям. В этот потрясающий для него час он не отказался зайти к чаю в дом церковного старосты, и уже оттуда приехал домой.
По предложению митрополита Филарета, он поехал лечиться в Москву, но безуспешно, и в 1864 г. он перестал видеть даже дневной свет.
Тогда он уволился на покой и провел 27 лет в нижнем этаже архиерейского дома в Митрофаниевом монастыре.
Это было время сплошных подвигов.
Жизнь вел он размеренную, не допуская отступлений.
Ложась в час, он вставал в пять и пел священные песни — пасхального канона, великого канона "Помощник и Покровитель", величания и тропари святым.
Одевался, умывался и приводил в порядок постель он всегда сам.
С пяти до семи часов он все время молился и затем шел в крестовую церковь к обедне. Затем медленно возвращался из церкви, задерживаемый лицами, которые желали принять его благословение.
Возвратившись в келлию и напившись чаю, он занимался размышлениями о Боге и духовным пением. Затем ему читали вслух, прерывая чтение, когда к нему приходили лица за советами.
В час дня он обедал. Ел он, как малый ребенок, а иногда во время поста совсем не прикасался к пище. Первую и страстную недели великого поста он проводил совершенно без пищи, довольствуясь чашкой чая и куском просфоры.
