Общество Китайско-Восточной железной дороги должно было построить и эксплуатировать дорогу за собственный счет. В течение всех 80 лет с момента ее ввода в эксплуатацию китайское правительство не несло ответственности и не покрывало возможный финансовый дефицит. Основной пакет акций принадлежал Министерству финансов Российской империи, следовательно, все возможные издержки должны были покрываться Россией.
По Берлинскому соглашению России не разрешалось иметь свои войска на территории Северной Маньчжурии, где предполагалось строительство (хотя для ее охраны все же был создан сильный Заамурский корпус пограничной стражи). После окончания работ была возможна только лишь транзитная перевозка войск между станциями на российской территории «без остановок в пути под каким бы то ни было предлогом».
В январе 1897 года в Санкт-Петербурге начало свою деятельность строительное управление КВЖД, которое возглавил серб по национальности А.И. Югович, инженер-строитель, известный специалист по сооружению железных дорог в пустынных и горных местностях.
Железную дорогу строили в малоосвоенных землях. Строителям приходилось преодолевать нетронутые массивы девственных лесов, пустыни, горные хребты, бурные реки. К тому же на этой территории Китая была весьма слабая администрация, неспособная защитить даже местное население от разбойных банд (хунхузов). В Северной Маньчжурии полностью отсутствовала какая-либо промышленность: все, до последнего гвоздя, приходилось доставлять чуть ли не кругосветным путем из Одессы во Владивосток. Отсутствовали пригодные для перемещения большого количества грузов дороги для гужевого транспорта. Зимой морозы достигали 40 градусов, летом приходилось преодолевать последствия катастрофических ливней.
Строительство КВЖД велось прогрессивными методами. Мосты возводились из железа или камня. Всего было сооружено 1464 моста, проложено 9 туннелей, из них два протяженностью более трех километров. Уникальным для тех лет стал двухпутный Хинганский туннель, построенный под руководством русского инженера Н.И. Бочарова. На строительстве дороги трудились почти 200 тысяч китайских рабочих, которым приходилось обеспечивать вооруженную охрану от частых нападений банд хунхузов.
2 ноября 1901 года на всем протяжении КВЖД была завершена укладка рельсов, и дорога открылась для временной эксплуатации. Регулярное движение по всей магистрали началось 13 июля 1903 года. Административно-техническим центром КВЖД стал город Харбин, который имел русские кварталы.
