Поскольку Яков Христофорович числился сразу за двумя ведомствами, было решено, что в целях конспирации в ИНО ВЧК он будет работать под фамилией Давыдов.
В приказе Ф.Э. Дзержинского о создании Иностранного отдела ВЧК, в частности, указывалось:
«1. Иностранный отдел Особого отдела ВЧК расформировать и организовать Иностранный отдел ВЧК.
2. Всех сотрудников, инвентарь и дела Иностранного отдела 00 ВЧК передать в распоряжение вновь организуемого Иностранного отдела ВЧК.
3. Иностранный отдел ВЧК подчинить начальнику Особотдела тов. Менжинскому.
4. Врид. начальника Иностранного отдела ВЧК назначается тов. Давыдов, которому в недельный срок представить на утверждение Президиума штаты Иностранного отдела.
5. С опубликованием настоящего приказа все сношения с заграницей, Наркоминделом, Наркомвнешторгом, Центроэваком и Бюро Коминтерна всем отделам ВЧК производить только через Иностранный отдел».
Давтян активно включился в процесс разработки Положения об Иностранном отделе ВЧК, определения его структуры и штатного состава. Но если в Наркоминделе, где Давтян одновременно продолжал работать, он был официально утвержденным начальником отдела и членом коллегии, то его статус в ИНО в качестве исполняющего обязанности начальника был менее определенным. Дзержинский, которому Давтяна рекомендовала Арманд, разумеется, знал об их дружеских отношениях. Знал он и о теплых отношениях революционерки с В.И. Лениным. Однако с официальным назначением Давтяна на столь ответственный пост Дзержинский не торопился, желая, очевидно, более детально изучить его личные и деловые качества.
Подобное положение, видимо, не устраивало Давтяна. Через месяц официальной работы в качестве исполняющего обязанности руководителя внешней разведки органов госбезопасности он пишет служебную записку в Управление делами ВЧК:
«Ввиду того, что исполняя обязанности начальника Иностранного отдела с 30 ноября 1920 года, я числюсь в резерве назначения Административного отдела, прошу провести меня приказом по занимаемой должности».
Однако его просьба не была удовлетворена. Сегодня трудно сказать, чем это было вызвано. Возможно, Дзержинский присматривался к исполняющему обязанности начальника внешней разведки, но не исключено, что причиной был его неровный характер и «кавказский темперамент», о чем речь пойдет дальше. Тогда Давтян подает рапорт с просьбой перевести его на дипломатическую работу за рубежом.
20 января 1921 года руководство ВЧК освободило Давтяна от занимаемой должности в ИНО. Он возвращается в НКИД, который в ту пору возглавлял Г.В. Чичерин, и назначается советником полпреда РСФСР при Венгерской Советской Республике. Одновременно с Давтяном было оговорено, что за рубежом он будет выполнять и поручения Дзержинского. Преемником Давтяна на посту начальника ИНО ВЧК стал Рубен Катанян.
