По мере приближения совершеннолетия Такэтиё вокруг братьев сложилась атмосфера тревожной неопределённости, о которой стало известно и за пределами замка. Сыновья сёгуна получали от провинциальных даймё равноценные подарки и одинаковые знаки внимания, а симпатия родителей к Кунимацу способствовала изменению отношения к нему со стороны воспитателей и прислуги.
В 1611 году у Хидэтада родился единственный внебрачный сын (будущий Хосина Масаюки) от наложницы по имени Сидзу. Сильная по характеру и очень ревнивая жена сёгуна, единолично распоряжавшаяся на женской половине замка, узнала о беременности и добилась изгнания женщины. Вскоре после рождения мальчик был отдан на воспитание в семью Хосина и всю жизнь носил эту фамилию. В течение пятнадцати лет рождение внебрачного сына Хидэтада держалось в тайне, равно как и его родство со вторым сёгуном. Го до самой смерти не признавала его существования и отказывалась его видеть, так же вынужден был поступать и Хидэтада. Признание Хосина Масаюки и его приём в семью стали возможны лишь после смерти Го в 1626 году.
Старшего сына Такэтиё с рождения воспитывала кормилица по имени Фуку (1579–1643), дочь известного военачальника Сайто Тосимицу (1534–1582), ближайшего соратника Акэти Мицухидэ (1528–1582). Убив Ода Нобунага и его старшего сына, они оба через одиннадцать дней погибли в сражении с Хидэёси. Женщина, выкормившая и воспитавшая Такэтиё, стала для него самым близким человеком. Вокруг будущей судьбы братьев завязалось соперничество двух женщин – жена Го во всём поддерживала младшего Кунимацу, а кормилица Фуку всеми силами отстаивала интересы Такэтиё. Отношения воспитанника и кормилицы были настолько тёплыми, что породили в городе слухи о том, что она и есть его биологическая мать.
В 1615 году перед обрядом совершеннолетия Такэтиё Фуку взяла отпуск, чтобы совершить паломничество в храм Исэ, и по дороге заехала в Сумпу, где рассказала Токугава Иэясу о ситуации в семье Хидэтада и возможной смене наследника. В октябре того же года он после охоты заехал в Эдо и во время торжественной встречи сел на главное место, посадив рядом с собой старшего внука. А когда Кунимацу хотел расположиться рядом с братом, резко его осадил, заявив, что он младший и потому сидеть здесь не должен (Токугава дзикки). Хидэтада воспринял слова отца как приказ и в дальнейшем неукоснительно ему следовал. В «Молитвослове храма Тосё о Великом Иэясу» (Тосё дайгонгэн норито
