На следующий день несколько земских представителей тайно пробрались в дом Ярова и спрятались на чердаке. Они решили убедиться в колдовских действиях Якова и застать его на месте преступления. С помощью Варвары представители через отверстие в перегородке увидели, что «колдун» действительно бормотал заговоры, перебирал травы, и когда он взял в руки книгу и подошел к свечам, они набросились на него и, завернув руки за спину, связали. Потом они учинили в комнате обыск, изъяли книги еретического содержания, прихватили зелье и доставили все в ратушу. В тот же вечер Ярова обвинили в ереси и колдовстве и допросили. Все его показания записывали в отдельную тетрадь. На следствии Яков сообщил, что лечил людей по их просьбе и назвал имена пациентов. О том, что травы и заклинания способны излечить многие болезни, он стал замечать еще в молодости, постепенно стал разбираться во многих травах и собирал их летом и осенью. Он не раз и сам прибегал к лекарственному зелью, когда его мучил какой-нибудь недуг. В округе Яков прослыл хорошим знахарем. К нему шли люди, и он никому не отказывал. Бывало, и сам навещал больных, лечил от всех болезней, некоторых даже избавил от безумия.
Вызванные на допрос пациенты Ярова охарактеризовали его положительно. Все они показали, что никаких волшебных действ он над ними не совершал, еретических книг не видели, а читал Яков над ними три молитвы, которые напечатаны в требнике в чине крещения, и запретительную молитву от бесов и злых духов, а также давал пить травные настои. Эти показания были приобщены к делу, но никакого влияния на дело Ярова не оказали. А оно велось явно с обвинительным уклоном. Дело в том, что в 1731 году в России вышел указ государыни Анны Иоанновны: «О некоторых людях, которые, забыв страх Божий, показывают себя, будто они волшебства знают и обещаются простым людям чинить всякие пособы, чего ради те люди призывают их к себе в домы и просят их о всепомоществовании в злых своих намерениях…» И каралось такое «преступление» смертной казнью.
Для того чтобы уличить злодея, ему устроили очную ставку с женой. Варвара неуступно стояла на своем: «и волшебства еженощно устраивал, и заговоры накладывал и еретичество за ним признает издавна и в такой силе, как раньше показывала». Положение Ярова усугубил приходский священник, показавший, что он «на исповеди у него не был, в своем еретичестве ему не каялся и Святых Тайн не приобщался».
«О волшебстве и еретичестве» сообщили в канцелярию Казанской губернии, и та уведомила об этом Правительствующий сенат. Якова Ярова, возложив на него оковы, поместили в провинциальную тюрьму. В сырой тюрьме Ярову провел почти четыре года. Он почти ослеп и разбух от водяной болезни. Узников в те времена не кормили, они существовали на подаяние. Беглые крестьяне, базарные тати, разбойники в сопровождении караульного ходили за милостыней на торжище и в богатые дома горожан. Еретика за милостыней не выпускали, и он питался тем, что ему бросали узники.
