В начале своего поселения в пустыни отец Серафим питался хлебом, который он брал из монастыря на целую неделю. Из этой малой порции он уделял еще долю животным и птицам, приласканным старцем. Они любили его и приходили на место его молитвословий. Много раз видели, как он из рук кормил огромного медведя, свирепого на вид, но становившегося кротким, как ягненок, при виде старца. Потом отец Серафим отказался даже и от хлеба насущного, питался только овощами со своего огорода. Два с половиной года старец вообще не брал хлеба из обители.
Духовное начальство понимало, как полезно было бы для многих сделать такого мудрого подвижника, как отец Серафим, а в в о й (отцом) настоятелем в какой-нибудь обители. Открылась вакансия в Алатырском монастыре. Отца Серафима предназначили было туда настоятелем с возведением в сан архимандрита. Но он стал убедительно просить отклонить от него назначение. Настоятелю Исайе и всей братии было очень жаль отпускать отца Серафима, усердного молитвенника и мудрого наставника. К радости обеих сторон, другой старец принял на себя тяжелое бремя настоятельства в чужом монастыре. Чуть позже предоставилась новая возможность сделать карьеру «по духовной линии», но батюшка наотрез отказался, и более ему того не предлагали.
12 сентября 1804 года подошли к старцу, рубившему дрова, три неизвестных крестьянина и дерзко потребовали от него денег, говоря, что «к тебе ходят мирские люди и деньги носят». Отец Серафим отвечал, что денег не берет. Не поверив ему, крестьяне напали на монаха. Один, кинувшись на него сзади, вдруг сам упал и оробел, но двое других не отступились. У отца Серафима в руках был топор, он был очень силен физически и вполне мог рассчитывать, что отобьется от злодеев. Подвижник уже замахнулся, но вспомнил слова Христовы: «Все, взявшие меч, от меча и погибнут». Тогда он опустил топор, сложил на груди крестообразно руки и сказал: «Делайте, что вам надобно».
Один из злодеев, схватив топор, обухом ударил страдальца по голове, так что у него из ушей и изо рта хлынула кровь, и старец упал в беспамятстве. Тогда крестьяне потащили его в келью, продолжая избивать, и даже хотели бросить в реку. Но когда увидели, что он точно мертвый, связали по рукам и ногам и бросили в сенях, а сами обшарили все углы в келье, сломали печь, надеясь отыскать деньги. Но ничего не нашли у старца: видели только святую икону и несколько картофелин. На разбойников вдруг напал страх, и они убежали.
