Борьба против него шла со стороны людей, казалось, образованных. Особенно враждебен был штурман Талин, из благородных, получивший морское образование в Петербурге и затем поступивший на службу Российско-Американской компании Штурман Талин был послан в помощь Баранову — водить суда по Алеутским островам, собирать меха… Вместо этого, он с самого приезда стал противиться «купчишке» Баранову, постоянно грубил, отказывался исполнять приказания… Не мне, морскому офицеру дворянину, слушаться твоих приказаний!», — кричал он, запирался в своей избе и глушил накопившуюся злобу в вине. К сожалению, сошелся он с оставшимися на Кадьяке монахами, которые тоже были озлоблены на Баранова, особенно «неистовый» Нектарий — красивый чернобородый горячий, вспыльчивый монах. Из первоначальной духовной миссии архимандрита Иоасафа, состоявшей из восьми человек, остались только четверо. Остальные уехали с Иоасафом, а один, Макарий, даже самовольно выбрался на один из западных островов Алеутской гряды, сумел затем добраться до Иркутска и строчил оттуда жалобы в Синод
Подстрекаемые штурманом Талиным, монахи все более и более озлоблялись на Баранова, и положение на Кадьяке летом 1802 года создалось такое, что в любой момент можно было ожидать взрыва. Талин с монахами даже стал подстрекать некоторых нестойких промышленных и особенно алеутов не исполнять приказаний Баранова, а то и просто отделаться от него — заковать в кандалы, заточить в келью… До Баранова даже дошли слухи, что его помышляли убить, но так ли это было на самом деле, он не знал.
Недовольство между монахами и Барановым было взаимным. Первый восторг Баранова, узнавшего от Шелихова о посылке к нему духовной миссии, когда Баранов пожертвовал крупную сумму на постройку церкви и содержание миссии, — это восторженное чувство за несколько лет совместного существования с членами миссии на острове сильно остыло, в особенности из-за обвинений его в греховной связи и поощрения подобных же отношений среди промышленных, а главное, из-за их «вздорных», по его словам, требований.
— Не понимают отцы, — кипятился он, — что у нас ничего нет, что компания ничего не шлет нам, а они все требуют то одно, то другое…
Монахи открыто обвиняли Баранова в том, что он живет во грехе, когда у него в России остались жена и дети. Они осуждали его за то, что он взял вторую жену — индианку и прижил от нее детей. Эта враждебность к Анне смягчилась только после того как она приняла православие и стала верной дочерью истинной христианской церкви.
