Так началась служба Вышинского в Прокуратуре Союза ССР, продолжавшаяся шесть лет. И. А. Акулов не был юристом и вообще не имел никакого высшего образования, опыт работы в органах правопорядка у него был незначительный — в 1931 году он являлся первым заместителем председателя ОГПУ. При таких обстоятельствах основная тяжесть по реорганизации прокурорского надзора легла на плечи Вышинского. В это время он работал исключительно много и неустанно: занимался комплектованием аппарата Союзной прокуратуры, готовил тексты многих приказов и указаний (некоторые из них подписывал сам), а также проекты постановлений ЦИК и СНК СССР, связанные с прокурорским надзором.
Прокуратура разместилась в старинном особняке, построенном еще в 1824 году и расположенном в глубине большого двора (некогда сада) по улице Большая Дмитровка, 15а (с 1937 года до начала 90-х годов улица носила название Пушкинская). В то далекое время, когда появился этот особняк, весь участок принадлежал 39 военному генерал-губернатору Москвы светлейшему князю Д. В. Голицыну. Его наследники продали весь участок московским купцам братьям Востряковым, которые надстроили третий этаж к основному зданию и соорудили еще несколько невысоких корпусов, предназначенных для сдачи внаем горожанам.
В 1905 году часть дома была арендована литературно-художественным кружком, основанным столичными писателями и театральными деятелями в 1899 году. Директорами правления кружка были поэт В. Брюсов, певец Л. Собинов, артист А. Сумбатов-Южин. С 1909 года здесь проходили знаменитые «среды» писателя Н. Телешова. В здании бывали поэты и писатели К. Бальмонт, А. Белый, И. Бунин, М. Горький, М. Волошин, В. Вересаев, А. Толстой, З. Гиппиус, Д. Мережковский, художники В. Серов, А. Васнецов, артисты М. Ермолова, А. Ленский, Г. Федотова и многие другие известные люди, в их числе ученые, юристы, врачи, политики. К этому времени основное здание было несколько перестроено, появился большой зал, где устраивались литературные чтения, дискуссии, художественные выставки. Бывали в доме и зарубежные знаменитости, здесь, например, чествовали писателя Эмиля Верхарна. Когда началась Первая мировая война, Литературно-художественный кружок прекратил свое существование, а многие помещения здания были отданы под лазарет для раненых.
После Октябрьской революции в особняке некоторое время размещался Пролеткульт. В 1919 году сюда переместился МК ВКП(б). Здесь работали известные революционеры секретари МК А. Ф. Мясников (Мясникян), Ф. А. Сергеев (Артем), размещались редакции газет «Рабочая Москва», «Вечерняя Москва», партийно-кооперативное издательство «Московский рабочий». 23 апреля 1920 года в большом зале прошел торжественный вечер в честь 50-летия В. И. Ленина. Под сводами этого дома звучал и голос В. Маяковского, читавшего партактиву свои поэмы «Владимир Ильич Ленин» и «Хорошо». Современный вид здание приобрело в 1926—1927 годах, когда оно было надстроено и заново оформлено.
