Наряду со службой по ведомству политического сыска царь возлагает на оправдавшего его доверие полковника ряд новых поручений. В декабре 1718 г. Скорнякову-Писареву вменяется в обязанность надзор за строительством Ладожского канала, в январе 1719 г. он назначается директором петербургской Морской академии, в мае получает поручение устроить «бечевник» – водный путь от Ладоги по Волхову и Мете, чтобы по этим рекам «везде можно было водить суда лошадьми до пристани» и т.д. Наконец, в ноябре того же 1719 г. его попечению вверяются псковская, ярославская и новгородская школы при архиерейских домах вместе с московской и новгородской школами навигаторов. Однако на этот раз бывший бомбардир не оправдал царских надежд. Человек суровый и жестокий, великолепно подходивший для работы в застенке, он оказался неспособным наладить учебный процесс.
Крайне медленно продвигалось и вверенное ему строительство Ладожского канала, который за четыре года работ к 1723 г. был проложен всего на 12 верст. Петр I лично осмотрел произведенные работы и по итогам ревизии снял Скорнякова-Писарева с руководства строительством. Чуть раньше между Скорняковым-Писаревым и вице-канцлером Шафировым произошло скандальное выяснение отношений в Сенате, что вызвало сильнейший гнев Петра I против обоих участников ссоры. Однако благодаря заступничеству светлейшего князя А.Д. Меншикова за своего бывшего подчиненного по Преображенскому полку он понес сравнительно легкое наказание в виде понижения по службе. Параллельно с этим он был отстранен от дел в Тайной канцелярии. Опала длилась недолго, и в мае 1724 г. Скорняков-Писарев особым указом был прощен, однако Петр I так и не забыл проступков своего бывшего любимца. Тем не менее, когда первый российский император умер, во время его похорон полковник Скорняков-Писарев наряду с другими наиболее приближенными покойного монарха нес его гроб.
Когда влияние Меншикова на Екатерину I становится решающим, звезда его бывшего подчиненного пошла было вверх, и по настоянию светлейшего он получает чин генерал-майора. Однако в 1727 г. Скорняков-Писарев дал себя Толстому втянуть в заговор и под его влиянием выступает за переход трона Российской империи к Елизавете Петровне и против свадьбы дочери Меншикова с царевичем Петром Алексеевичем (будущим императором Петром II). Заговор был очень быстро раскрыт, и светлейший не простил своему бывшему протеже черной неблагодарности. Скорняков-Писарев был наказан суровее большинства других заговорщиков: помимо лишения чести, чинов и имения был бит кнутом и сослан в Жиганское зимовье, откуда до ближайшего города Якутска было целых 800 верст. Однако находиться в якутской ссылке пришлось сравнительно недолго. Как известно, в царствование Екатерины I была снаряжена 1-я Камчатская экспедиция Беринга. По возвращении из экспедиции мореплаватель подал в правительство доклад, где, в частности, предлагал учредить Охотское управление и построить порт в устье реки Охоты. Это предложение было одобрено, и поскольку дальневосточная окраина империи испытывала острый дефицит в образованных руководителях, Беринг указал на Скорнякова-Писарева, «безо всякой пользы» для правительства сидевшего в Жиганском зимовье, как на человека, которому можно поручить эту задачу. Поскольку Петр II к этому времени уже умер и на престол вступила Анна Иоанновна, эта идея не вызвала возражений, и 10 мая 1731 г. последовал указ о назначении ссыльного Скорнякова-Писарева командиром в Охотск. Россия уверенно начинала осваивать побережье Тихого океана, и в этот процесс внес свою посильную лепту бывший петровский бомбардир, целых 10 лет руководивший портом на Охотском море.
