В 1925 году окончил Высшую кавалерийскую школу РККА в Ленинграде, в 1931 году – курсы усовершенствования высшего начсостава в Москве, в 1934 году – Военную академию РККА имени М. В. Фрунзе.
С апреля 1934 до октября 1936 года – начальник штаба 5-й кавалерийской дивизии имени Блинова в Киевском военном округе. В 1938 году окончил Академию Генерального штаба и с октября этого года там же преподавал тактику. С сентября 1940 года – начальник оперативного отдела штаба 12-й армии Киевского Особого военного округа, с декабря 1940 года начальник оперативного отдела – заместитель начальника штаба этого округа.
С начала Великой Отечественной войны полковник Баграмян был назначен начальником оперативного отдела – заместителем начальника штаба Юго-Западного фронта. В 1941 году участвовал в организации обороны Киева и проведении Киевской оборонительной операции, в планировании и проведении контрнаступления под Ростовом, в Елецкой наступательной операции. С 28 декабря 1941 года – начальник штаба Юго-Западного направления, и с 1 апреля 1942 года одновременно начальник штаба Юго-Западного фронта.
С 23 июня по 15 июля 1942 года был заместителем командующего 61-й армией, потом назначен командующим 16-й армией Западного фронта, преобразованной за успешные боевые действия 16 апреля 1943 года в 11-ю гвардейскую армию. Участвовал в отражении немецкого контрудара под Козельском в июле 1942 года и в Жиздринской наступательной операции в феврале-марте 1943 года, в Орловской операции 1943 года.
С 16 ноября 1943 года И. Х. Баграмян – командующий войсками 1-го Прибалтийского фронта. В ходе Белорусской операции 1944 года войска 1-го Прибалтийского фронта во взаимодействии с войсками 3-го Белорусского фронта осуществили Витебско-Оршанскую операцию.
Указом Президиума Верховного Совета СССР от 29 июля 1944 года за выдающиеся результаты, достигнутые войсками фронта в Белорусской операции, и проявленное личное мужество генералу армии Баграмяну присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
В Восточно-Прусской операции войска 1-го Прибалтийского фронта, затем Земландской оперативной группы под руководством И. Х. Баграмяна (вступил в командование 24 февраля 1945 года) участвовали в разгроме тильзитской и земландской группировок противника. С 3 апреля 1945 года Баграмян командовал войсками 3-го Белорусского фронта.
После войны И. Х. Баграмян был командующим войсками Прибалтийского военного округа (1945–1954), главным инспектором Министерства обороны (1954–1955), заместителем Министра обороны СССР (1955–1956).
