Первые недели после установления Советской власти порядок и безопасность в Москве обеспечивали Военно-революционный комитет и различные комиссии при районных советах. В начале марта 1918 года исполком Моссовета принял решение образовать городскую комиссию по борьбе с контрреволюцией. Однако свою деятельность МЧК тогда развернуть так и не успела. 10 марта в связи с переносом столицы из Петрограда в Москву переехала Всероссийская чрезвычайная комиссия, которая обосновалась сначала на Поварской, а затем на Большой Лубянке, 11. Коллегия ВЧК признала нецелесообразным существование в одном городе двух чрезвычайных комиссий. ВЧК была слита с МЧК в один орган.
Однако через несколько месяцев ситуация круто изменилась. Разгорелась гражданская война, началась открытая интервенция Германии и стран Антанты, активизировалась и внутренняя контрреволюция. В функциях ВЧК все более важное место занимала централизация действий губернских чрезвычайных комиссий, особых отделов в Красной Армии.
Так вновь возникла необходимость создать органы, которые осуществляли бы борьбу с контрреволюцией, спекуляцией и преступлениями по должности непосредственно в столице. Такими органами стали первоначально образованные в августе 1918 года районные ЧК. В начале декабря приступила к работе и Московская чрезвычайная комиссия. Учитывая особое значение Москвы как столицы РСФСР, первым председателем МЧК был утвержден 23 ноября, с сохранением должности председателя и ВЧК, Феликс Эдмундович Дзержинский.
Заместителем его по МЧК в 1919 году был профессиональный революционер, член партии большевиков с 1906 года Василий Николаевич Манцев. Старыми революционерами были и другие ответственные сотрудники, члены коллегии и заведующие отделами МЧК Станислав Адамович Мессинг, Тимофей Петрович Самсонов, Ефим Георгиевич Евдокимов, Наталья Алексеевна Рославец.
Первоначально МЧК располагалась в том же здании — Большая Лубянка, 11, — что и ВЧК, а позднее перебралась в собственное помещение почти напротив — Большая Лубянка, 14. Это здание можно считать историческим. Когда-то оно было городской усадьбой графа Федора Васильевича Ростопчина, в 1812 году московского генерал-губернатора. Усадьбу эту описал в «Войне и мире» Лев Николаевич Толстой. Особняк сменил не одного владельца, пока не оказался собственностью известного страхового общества «Саламандра». От той поры МЧК достались в наследство необыкновенной формы письменные столы — полукруглой формы и настоящее чудо — бронированная комната, в которой хранились некогда ценности московских богатеев, а теперь пустовавшая без надобности.
