Ввиду того, что Потоцкий, не получая нужных средств, прекратил всякие переговоры с заграничными учеными, которых предполагалось пригласить в профессора Харьковского университета, – Каразин решился действовать в этом направлении на свой страх. В бумагах его имеются письма Фихте, Гильденбрандта, Пуассона, Лаланда, Рейха и других, с которыми он вошел в переписку по данному поводу. В то же время Каразин был озабочен и приисканием слушателей для будущего университета. В Харькове он нашел до 50 молодых людей, «годных к непосредственному поступлению студентами». Но этого числа ему казалось мало, и он уговорил Новосильцева, – опасаясь; выступать лично, чтобы не повредить делу, – представить министру народного просвещения записку о необходимости просить, чтобы из семинарий, находящихся в Харьковском учебном округе, не требовали учеников в Петербургскую учительскую семинарию, а помещали их в Харьковский университет. Представление об этом было сделано в июне, а подписано министром только в ноябре. Между тем нужно было заботиться и о приготовлении помещения для университета. Дома для этого были кое-как получены; но их нужно было перестраивать, переделывать, вообще приспособлять к новому назначению. Харьков был тогда еще настолько первобытным городом, что в нем не было представителей многих ремесел, необходимых для постройки и отделки порядочного здания. Лица, которым Каразин поручил продолжать начатые им в Харькове работы, писали ему, чтобы он прислал им необходимых мастеров. Каразин стал просить об отпуске необходимых для выписки мастеров средств. Ему было отказано в этом. Тогда он занял 9525 рублей у разных лиц и на них выписал из-за границы 32 семейства мастеровых, которых и отправил в Харьков (только эти деньги и были ему возвращены).
Благодаря таким экстраординарным мерам Каразина дело открытия Харьковского университета, несмотря на все препятствия, близилось к окончанию. Невыносимое положение Каразина на службе в министерстве народного просвещения, на которой он оставался исключительно ради содействия делу университета, теперь, ввиду близкого благополучного окончания его, заставило Каразина выйти в отставку, которая и состоялась 27 августа 1804 года. Материальное положение его в это время было ужасным. В письме к Сперанскому от 1810 года он так описывал это положение:
«Меня бросили на площади без всякого милосердия! Я издерживал на все про все собственные деньги, нахватывая их где только мог. Но после моей отставки насилу,
