7 (20) декабря 1917 г. Яков Петерс был утвержден Совнаркомом членом Коллегии Военной Чрезвычайной комисси, помощником председателя и казначеем ВЧК. Однако в то время Петерс не был так уверен в своих силах. Единственный раз в жизни он в чем-то то сомневался. После своего назначения членом ВЧК он сказал своему близкому другу Луизе Рид, что совершенно не представляет себе, как сможет работать в новом органе – Чрезвычайной комиссии по борьбе с контрреволюцией и саботажем, чем-то вроде Комитета общественного спасения, карающего органа времен Великой французской революции. Он спрашивал себя с чего же начать. Не было ни опыта, ни определенного плана действий, ни денег. Но он был не один. Вместе с ним организацию нового органа налаживал Феликс Дзержинский, которого Ленин назначил председателем ВЧК (хотя были и другие желающие возглавить новый орган, но Ленин выбрал Дзержинского, назвав его «пролетарским якобинцем»). Всего их было 23 человека. Однако это были люди, до конца преданные делу.
«Пляской жизни и смерти» называл те дни председатель Чрезвычайной комиссии Дзержинский. Нужно ли снова говорить о том, сколько было пролито тогда крови – в том числе и безвинной? Но давайте еще раз вспомним и о волне бандитизма, захлестнувшей тогда Россию, о бесчисленных ночных убийствах и грабежах на улицах Питера и Москвы. Кто-то должен был с этим покончить. Красные были безжалостны к своим политическим противникам, но и сами пощады не ждали. «Первый призыв» ВЧК действительно верил: он сумеет так выстроить свою работу, что «принцип справедливости и закона», как надежный фундамент, никогда и никем не будет поколеблен. Никто из них не готовился стать охранителем государства, вся предыдущая жизнь как раз была посвящена его разрушению. Но… странным образом здесь, в пламени войны и мятежей, в паутине заговоров, посреди разрухи и развала зарождалась одна из самых активных и искусных спецслужб XX века.
Уже в апреле 1918 года Петерс вместе с Дзержинским в Москве возглавил операцию по ликвидации вооруженных анархистских отрядов, в том же месяце был избран первым в истории ВЧК секретарем парторганизации. Тогда же он руководил ликвидацией «Союза защиты родины и свободы» Б. Савинкова в Москве и Казани.
6 июля 1918 г. во время вооруженного выступления левых эсеров Петерс вместе с членами коллегии ВЧК В. В. Фоминым и И. Н. Полукаровым заменил охрану V Всероссийского съезда Советов в Большом театре на более надежных латышских стрелков. 7 июля, уже после подавления мятежа и заявления Дзержинского об отставке, Петерс постановлением Совнаркома был назначен временным председателем ВЧК. 22 августа после возвращения Дзержинского Петерс был утвержден его заместителем. В этом качестве он руководил следствием по делу Фанни Каплан, стрелявшей в Ленина, и операцией по т. н. «заговору послов», включая аресты и следствия. Яков Петерс настаивал на полной неподконтрольности ВЧК, которая производит «обыски, аресты, расстрелы, давая после отчет СНК и ВЦИК». Но на посту зампреда ВЧК его сменил И.К.Ксенофонтов. Петерс стал работать в Московском ревтрибунале и возглавил штаб по борьбе с контрреволюцией в Москве.
