А по прибытии в Японию начались сложности, которых Виктор Александрович не предвидел и о которых раньше он, привыкший к привилегированному положению, и понятия не имел. Спустя двадцать лет он так вспоминал об этом:
«Цуруга, где я сошел с корабля ноябрьским утром, была такой же, как и всегда, — а я неоднократно сходил здесь на берег. Но насколько изменилось мое собственное положение! Лишь два года прошло с тех пор, как я прибыл в Японию в качестве военного атташе в посольстве Российской империи и меня по протоколу встречали дипломатические представители. Теперь у меня не было официального статуса. Более того, я был «человеком без страны», без правительства, которое могло бы заступиться за меня. Я теперь был вынужден искать милости любого чиновника, как бы неприязненно он себя ни вел. Быть одиночкой, «просто человеческим существом» звучит весьма красиво, но на практике может оказаться не столь привлекательным в этом мире, где слишком много границ, слишком много ограничений для выходцев из «чуждых» стран и просто иностранцев, слишком много способов дискриминации и слишком много жестокосердных бюрократов, в которых не осталось и следа человечности. Поверьте, это совсем не то, что пылкие сторонники полнейшей свободы личности захотели бы испытать на себе».
Только сейчас Яхонтов осознал неоднократно слышанную им в старой России поговорку, что человек состоит из трех частей: из тела, души и паспорта. «В Токио я обнаружил, — продолжал дальше Яхонтов в воспоминаниях об этом отрезке своей жизни, — что русская революция уже создала серьезные препятствия для свободы передвижения. Когда в марте я покидал Японию, визы я получал в кратчайший срок, и ставили их мне сами послы. Теперь было иначе. И не только потому, что оставил свой пост и потерял свой статус. Нет, причина была в том, что я был русским».
В этот, первый для него опыт путешествия в качестве обычного пассажира Яхонтов быстро узнал, что его политические взгляды тоже могут стать препятствием. Он вскоре обнаружил, что спор в нью-йоркском Обществе русских офицеров не прошел для него бесследно. Один из его тогдашних оппонентов, связанный с министерством юстиции США, узнал каким-то образом о предстоящем возвращении Яхонтова и попытался этому помешать. Но сохранились еще старые связи, и в конце концов вопрос был решен.
Получив после столь необычных для него хлопот визу, Яхонтов в конце концов взошел на борт японского судна, идущего в Канаду. Оказалось, что тем же рейсом уплывала в Новый Свет окончательно отвергшая свою внучку «бабушка русской революции» Екатерина Константиновна Брешко-Брешковская. Они много беседовали в долгом пути через Тихий океан.
