С середины 1930-х гг. Андропов стал работать на НКВД в качестве осведомителя. Он добровольно продолжил это занятие даже после приказа Берии, предписавшего в 1938 г. сотрудникам госбезопасности прервать агентурную работу с членами партийно-комсомольской номенклатуры. Во время войны с Германией, курируя по линии ВЛКСМ партизанское движение Карелии, Андропов также не забывал «давать информацию» на своих коллег опекавшему его чекисту Гусеву. По протекции первого секретаря ЦК компартии Карело-Финской АССР Куусинена Андропов стал вторым секретарем этого ЦК, а в 1951 г. — инспектором ЦК ВКП(б). Приняв новую должность, Андропов тут же послал в МГБ донос на своего бывшего шефа (за что в ЦК его будут называть «человеком с душком»). После смерти Сталина и ареста Берии Андропова перевели на работу в МИД. С 1954 г. он служил в посольстве СССР в Будапеште: сначала советником, затем — послом.
В Венгрии, жестоко пострадавшей от репрессий в предыдущее десятилетие, началось тогда мощное движение за десталинизацию и возрождение национального государства. После осудившего культ Сталина XX съезда КПСС, сталинист Матьяш Ракоши был смещен с поста главы венгерской компартии и государства. Это место занял его заместитель Эрне Гёре, что оппозицию не удовлетворило. В октябре 1956 начались демонстрации с требованиями демократизации, возвращения конфискованной собственности, выхода из системы Варшавского договора. Венгерские коммунисты вынуждены были назначить главой правительства популярного политика Имре Надя. В стране начались расправы с сотрудниками карательных органов и сталинистами. «Вы не представляете, что это такое — стотысячные толпы, никем не управляемые, выходят на улицы…» — рассказывал позже Андропов советскому дипломату Трояновскому. После докладов вернувшихся из поездки в Венгрию Суслова и Микояна политбюро ЦК КПСС решило подавить венгерскую революцию любой ценой.
Андропову в этом деле была поручена роль «доброго следователя». Он вел переговоры с Надем, убеждал его, что СССР стоит за демократические преобразования, тогда как в Ужгороде уже формировалось лояльное Москве правительство Яноша Кадара. Андропов заманил в ловушку и арестовал одного из руководителей восстания, начальника будапештской полиции Шандора Копачи. Последний потом писал, что за несколько минут до ареста он «увидел Андропова, улыбающегося своей знаменитой добродушной улыбкой. Но при этом казалось, что за стеклами его очков разгорается пламя. Сразу становится ясно, что он может улыбаясь убить вас — это ему ничего не стоит».
