Существует мнение, согласно которому, Ю. В. Андропов относился к А. Н. Яковлеву самым негативным образом и называл его «проходимцем».
По свидетельству бывшего работника аппарата ЦК КПСС М. И. Кодина (1943–2009), когда в 1983 г. возглавлявший Отделом ЦК КПСС по работе с заграничными кадрами и выездам за границу Степан Васильевич Червоненко представил Ю. В. Андропову документы на награждение А. Н. Яковлева в связи с его 60–летием орденом Ленина, «Юрий Владимирович поднял тяжелый взгляд на Червоненко и глухо проговорил: «Ему не орден Ленина давать надо, а в тюрьму сажать… — И пояснил: — Как председателю КГБ мне не раз поступали оперативные данные, что работает этот деятель не только на наши спецслужбы, ведет, по меньшей мере, двойную игру». — «В таком случае, следует немедленно отзывать посла и освобождать от должности », — резонно заметил Червоненко. «К сожалению, соответствующими документами Комитет не располагает», — признался Ацдропов. Повисла напряженная пауза. «Что там у нас есть пониже для награждения?» — генсек невольно вздохнул. «Орден Знак Почета, но это уже нижний предел», — подсказал заведующий отделом загранкадров. «Может, все–таки орден Дружбы Народов?»
Из этого вытекает: или Ю. В. Андропов зачем–то дурачил подчиненных, или же был не волен в своих действиях.
Вернувшись в Москву и приступив 16 августа 1983 г. к исполнению обязанностей директора ИМЭМО, А. Н. Яковлев, по утверждению В. А. Крючкова, «довольно быстро вошел в неофициальную команду Горбачева». Этот факт признавал и сам Александр Николаевич. «…За спиной института, — писал он, имея в виду ИМЭМО — стоял Михаил Горбачев».
Однако за спиной ИМЭМо стоял не только ЦК КПСС, но и КГБ СССР. Поэтому некоторые считали его филиалом КГБ, точнее филиалом Первого главного управления или внешней разведки, возглавляемой В. А. Крючковым.
Как явствует из воспоминаний А. Н. Яковлева, после возвращения в Москву руководитель ПГУ и первый заместитель председателя КГБ СССР В. А. Крючков «возобновил» с ним отношения. Причем теперь они вышли за рамки официальных и приобрели личный характер. В. А. Крючков и А. Н. Яковлев не только стали бывать вместе в сауне, но и вести довольно откровенные разговоры.
«Например, — вспоминал Александр Николаевич, — когда я сказал, что хорошо бы на примере одной области, скажем Ярославской, где крестьян надо искать днем с огнем, проэкспериментировать возможности фермерства, он (т. е. Владимир Александрович. — А. О.) отвечал, что это надо делать по всей стране и нечего осторожничать».
