Еще в начале 1703 года царь считал Виниуса своим ближайшим другом, продолжал писать ему доверительные шутливые письма. Когда русские войска заняли Шлиссельбург — древний новгородский Орешек — Петр Первый в первую очередь поделился этой радостью именно с Виниусом. "Правда, что зело жесток сей орех был, однако ж слава богу, счастливо разгрызен. Артиллерия наша зело чудесно дело свое исправила".
И вдруг опала… Причина была проста. До монарха дошли достоверные известия, что его друг стал брать взятки.
Петр всегда считал взяточничество одним из величайших бедствий для государства: оно расшатывало основные устои всего порядка в стране. Преобразователь России люто ненавидел тех, кто был нечист на руку. Он приравнивал взяточничество к государственной измене. И потому стремился беспощадно бороться с лихоимцами.
Петр был потрясен, узнав, что и почтенный Андрей Виниус не устоял перед соблазном. Гневу царя не было предела. Виниус, естественно, страшно перепугался, когда услышал, что Петру стало известно о его проделках. И тут он допустил новую роковую ошибку: с помощью новой взятки попытался расположить в свою пользу всесильного тогда Александра Меншикова. Зная, что Ментиков и сам нечист на руку, Виниус послал ему в Петербург дорогие подарки: три коробочки золота, 150 золотых червонцев, 300 рублей денег, умоляя его замолвить словечко перед разгневанным царем. Двуличный Меншиков подарки принял и даже написал Виниусу, что-де он "оправдался совершенно во всем". А в то же самое время направил Петру Первому другое письмо, в котором разоблачал Виниуса и доносил, что тот опять с помощью взятки "выкручивался". Царский любимец, обычно не брезговавший "даяниями", лицемерно писал своему державному другу: "Зело я удивляюсь: как те люди… хотят меня скупить за твою милость деньгами или они не хотят или бог их не обращает. А большую дачу дал мне Виниус и за то, чтоб пушкарский приказ и аптеку хотя у него и взять, только бы Сибирский приказ удержать за ним. Из чего изволишь познать — для чего такую великую дачу дал: надеется от Сибирского приказа впредь себе больших пожитков, а прежде много раз бил челом твоей милости о деревнях, что пить и есть нечего". Этот предательский удар достиг своей цели: Виниус был отстранен от многих других своих должностей и удален в Гродно.
Вот что пишет знаменитый историк С.М. Соловьев в связи с этими событиями: "Старику стало очень тяжело: другие идут быстро вперед… а старый служака забыт в опале! Не он ли умножил казну несколькими сотнями тысяч, нашел руды медные и железные, устроил 4 завода, которые кроме удовлетворения государственным потребностям, отправляют свои произведения за море, устроил китайский торг, нашел селитру и в два с половиной года изготовил больше 600 пушек, улучшил порох, устроил математическую школу? И за все это вместо награды наложили на него взыскание в 13 000 рублей. Чтобы заплатить эту сумму, должен был один двор продать, другой заложить, деньги занять; опозорен, обнищал и, наконец, 65-летнего старика послали в Гродно, где делит год в тяжких трудах".
