Аблай-тайша впоследствии пожалел о том, что он выдал тайну, Ульяна Ремезова стал считать обманщиком. Почему? Вот что удалось узнать историкам.
Однажды тайша встретил Мамета Кайдаулова и похвастался ему, что стал хозяином „панциря Ермака“. Он показал свое сокровище. И тут вдруг Мамет неожиданно заявил, что показанный Аблаем панцирь… совсем не тот, который был у него насильно отобран. Мамет утверждал, что подлинный панцирь Ермака был „длинен и около грудей напереди кольцы часты, напереди ж ниже пояса прострелено, испорчено одно кольцо“. Следовательно, кто-то в Тобольске подменил реликвию. Но кто мог это сделать? Пристав, который был послан к Мамету, едва ли осмелился бы на такое. Может быть, тобольский воевода И.А. Хилков или кто-нибудь из его окружения? Это наиболее вероятно — ведь всякому хотелось бы иметь у себя такой чудодейственный талисман, о котором ходили самые необыкновенные рассказы. Как свидетельствует сам Семен Ремезов, панцирю приписывали поистине магические свойства: „чудотворение, болезненным исцеление, родильницам и младенцам отогнание недугов, на войне и на промыслах удача“,
В ремезовской летописи нет ни слова о подмене панциря Ермака. Быть может, Семен Ремезов ничего не знал об обмане, невольным соучастником которого был его отец. Впрочем, Мамет Кайдаулов мог сознательно сказать неправду Аблаю, поскольку сожалел о своей потере. Во всяком случае, Аблай-тайша поверил Мамету, огорчился и даже снарядил новое посольство, требуя передачи ему подлинного панциря Ермака. Но вскоре тайша был разбит знаменитым калмыцким Аюка-ханом и попал к нему в плен. Благодаря вмешательству русской дипломатии Аюка выдал пленника московским посланцам. Вскоре Аблай-тайша умер в Москве. Его сын Чаган-тайша в 1670 году снова обратился с просьбой, чтобы ему передали легендарный панцирь. До сих пор остается неизвестным, как ответила Москва на эту просьбу. Возможно, ответа вообще не последовало, так как вскоре „княжество“ верхнеиртышского Аблая вообще перестало существовать…
Семен Ремезов весьма долго жил совместно со своим отцом. Хотя тот пользовался всеобщим уважением, жили довольно бедно, особенно после поездки к Аблаю-тайше, когда немало личных денег ему пришлось потратить на содержание свиты. Сам Ульян Ремезов с горечью отмечал: "От той посылки оскудел и обнищал… и жизнь свою тем утратил".
Но стрелецкий сотник продолжал честно выполнять все поручения, которые ему давали тобольские воеводы. В 1664 году он ездил вверх по Ишиму для "досмотру земли и соляных озер". Это было очень важное поручение: в те времена на Руси ощущалась острая нехватка соли. Она ценилась очень дорого, и поиск новых соляных озер считался важным "государевым делом". Поход прошел весьма успешно: были найдены два соляных озера. И еще подысканы места под пашню для русских переселенцев. Было избрано место и для строительства будущего острога. Всему этому Ульян представил географический чертеж.
