Первые годы жизни Баранова довольно туманны, малоизвестны. Родился он в 1745 году в городе Каргополе, на границе Финляндии, в довольно бедной мещанской семье. Его отец даже не был принят ни в одну из купеческих гильдий. Детство Александра Баранова было как у всех детей из небогатых семей: игры со сверстниками на улицах города, а также с младшим братом и двумя сестрами. Образования в своем маленьком городишке он почти никакого не получил. Нужно полагать, что грамоте все же он научился, скорее всего, у церковного дьячка. Так всю жизнь, даже став правителем грандиозного колониального предприятия — Российско-Американской компании, равной по своим операциям Гудзон-Бейской или Ост-Индской компаниям, — у Баранова всегда были затруднения с правописанием. Грамматика его прихрамывала всю жизнь, он никогда не мог осилить ее правил, да, пожалуй, особенно и не стремился.
Пытливый ум мальчика, желание выбиться в люди и добиться чего-то, привели Александра к мысли о побеге из дома. Пятнадцатилетним он убежал в Москву, где брался за все, лишь бы прокормиться. Там познакомился он со многими иностранцами, главным образом немцами. В структуре русского общества того времени, когда классовые различия пролегали резкой межой между высшими и низшими классами, не было места Александру Баранову. Даже общество купцов 3-й гильдии являлось для него «высшим светом», доступ куда был закрыт.
Работая же на иностранцев, он увидел, что те меньше обращают внимание на социальные перегородки и что он, исполняя даже самую незначительную работу в предприятии, тем не менее считался одним из членов семьи, с которым обращались как с младшим членом этой семьи. Эта система произвела неизгладимое впечатление на мальчика. Работая на немцев, он научился немного болтать по-немецки, и это знание, может быть, ограниченное, очень помогло ему в будущем, когда уже приходилось иметь дела с капитанами иностранных кораблей, заходивших в его американские владения.
Работая в Москве, Баранов много читал, старался приобрести побольше знаний, и особенное внимание уделял химии, интересовавшей его больше всего.
Время шло. Баранов специализировался в торговле и особенно в сибирских мехах. Одна из меховых компаний даже откомандировала его обратно в Каргополь, на этот раз уже как своего представителя для скупки мехов в Каргополе и окружающих районах. В своем родном городе встретил Баранов девушку, на которой и женился. Родилась дочь. Но жизнь с женой как-то не ладилась. Интересы жены, маленькой женщины маленького города, отличались от интересов и замыслов Александра Андреевича, имевшего больший размах и мыслившего о большем, чем жизнь в захолустном Каргополе.
