Во время империалистической войны, в 1916 году, Г.Г. Ягода работал в Петрограде, в больничной кассе Путиловского завода. Участие в работе больничных касс являлось одним из направлений деятельности большевистской партии среди рабочих промышленных предприятий. На Путиловском заводе непосредственным организатором этой деятельности являлся видный большевик, активный участник Великой Октябрьской социалистической революции П.И. Подвойский, при котором помощником и секретарём состоял Г.Г. Ягода.
Накануне революции Ягода вошёл в состав военной организации при Петербургском комитете РСДРП(б) во главе с Н.И. Подвойским. Впоследствии вместе с Подвойским и А.И. Егоровым, будущим Маршалом Советского Союза, занимался вопросами организации Красной армии. Эта совместная работа также оказала определённое влияние в продвижении Ягоды по служебной лестнице.
В 1919 году Ягода — член коллегии Наркомата внешней торговли, в ведении которой непродолжительное время находилась и охрана границ в целях пресечения незаконного вывоза и ввоза ценностей и товаров. Затем эта функция перешла в ведение ВЧК. Некоторое время Ягода совмещал работу в Наркомате внешней торговли с работой в ВЧК в качестве одного из секретарей президиума ВЧК.
Характеризуя Ягоду, современники подчёркивали его деловитость, аккуратность и спокойный, ровный характер. Очевидно, эти качества сотрудника импонировали Ф.Э. Дзержинскому, и, по всей видимости, не без его согласия Ягода становится в 1921 году управляющим делами ВЧК, а затем и заместителем начальника Особого отдела, точнее, заместителем А.Х. Артузова. Прошло ещё два года, и Дзержинский, оценивший деловые качества Ягоды, назначил его своим заместителем.
В 1926 году, после смерти Ф.Э. Дзержинского, руководителем ОГПУ становится В.Р. Менжинский. К этому времени Ягода прошёл в ВЧК-ОГПУ большую школу и, если так можно сказать, становится профессионалом, заместителем Менжинского.
В середине 20-х годов руководство ОГПУ существенно обновляется. По различным причинам соратники Дзержинского — М. Лацис, Я. Петерс, М. Кедров, В. Манцев, И. Уншлихт — ушли на другие участки работы и впоследствии были репрессированы. С годами роль Ягоды и руководстве ОГПУ возрастает, чему способствовала и частая болезнь Менжинского. Многие вопросы Ягоде приходится решать в таких случаях в качестве первого лица.
Как известно, на XV съезде партии (1927 год) заметно усилилась и обострилась борьба в высшем партийном и государственном эшелоне против проводимой Сталиным и его ближайшим окружением политики государственного строительства. Уже к этому времени в отношении инакомыслящих применялись и ссылки, и заключение в политизоляторах. Эти меры не только получали поддержку и одобрение, но и провоцировали на более широкое применение. В частности, Е. Ярославский (Губельман) требовал: «Для здоровой работы нашей партии, для блага революции мы не должны останавливаться… ни перед какими средствами». К 10-летию Октябрьской революции из партии оказались исключёнными Л.Б. Каменев и так называемая «троцкистская оппозиция», а после праздника и Г.Е. Зиновьев.
