Сыновья Николай, Михаил и Иван в молодости уезжали на заработки в столицу. После революции в Клушино вернулся только Николай, а два других брата, по словам Алексея Ивановича, «сгинули в Питере».
Николай и Савелий (по церковной книге — Савва) незадолго до Великой Отечественной войны переехали в Москву. Семья Савелия Ивановича впоследствии помогла устроиться пятнадцатилетнему племяннику Юрию Гагарину в ремесленное училище.
Алексей, младший сын, находился при матери, помогал ей во всем, летом пас скот. Он рано освоил плотницкое ремесло — видимо, ему от отца этот дар передался. Как и все дети в семье, Алексей был грамотным. Учился он в клушинской церковно-приходской школе и в одной из служебных анкет написал, что имеет образование четыре класса. Но есть сведения и о том, что он вынужден был бросить учебу, не окончив полного курса начальной школы.
Из двух дочерей Гагариных только одна — Прасковья Ивановна (по церковной книге — Параскева) — прожила долгую жизнь. Она вышла замуж за вдовца с шестью детьми — Матвеева Алексея Матвеевича. Это событие в немалой степени предопределило дальнейшую судьбу ее брата Алексея. Но об этом пойдет речь ниже — после более близкого знакомства с представителями рода Матвеевых, из которого вышла Анна Тимофеевна — мать Ю. А. Гагарина.
Матвеевы жили в четырех верстах от Клушина — в деревне Шахматово. В Клушино Воробьевской волости она считалась крупным населенным пунктом, занимая третье место по числу дворов и количеству населения. По состоянию на 1904 год в деревне было 35 дворов и 228 жителей.
В отличие от Клушина, бывшего казенным селом, Шахматово являлось владельческой деревней. До отмены крепостного права его владельцами были графы Каменские. Крестьянские наделы были небольшими. Многие мужчины, чтобы прокормить свои семьи, занимались отхожим промыслом.
Анна Тимофеевна рассказывала, что ее отец Тимофей вместе с братьями Ефимом и Алексеем шестнадцатилетним юношей уехал в Петербург и там работал на Путиловском заводе, иногда наезжая в деревню.
В один из таких приездов, 13 февраля 1891 года, он женился на молодой крестьянской девице из соседней волости. В метрической книге Пятницкой церкви села Воробьева в сведениях о женихе записано: «Воробьевской волости деревни Шахматово крестьянина Матвея Федорова сын Тимофей Матвеев, православного вероисповедания, 21 год». Его невестой была «Петропавловской волости деревни Лукьянцево крестьянина Егора Иванова дочь Анна Егорова, православного вероисповедания, 19 лет».
