Еще до Испании своеобразное поведение жены стало для Филиппа обузой. Во Франции, проездом в Испанию общаясь с королевской четой, она вела себя крайне странно, оставив о себе весьма неблагоприятное впечатление. Филипп больше не старался потакать причудам Хуаны, обращаясь с ней как с душевнобольным человеком, и пытался от нее избавиться. Он без оглядки предавался радостям жизни и открыто развлекался с красивейшими девушками на глазах у болезненно ревнивой жены. Если Хуана приходила в ярость из-за поведения мужа, он приказывал удалить супругу подальше от него. Плохие отношения между Филиппом и Хуаной стали достоянием испанской общественности. И так как Хуана являлась дочерью всеми почитаемой королевы Изабеллы, подобное обращение Филиппа с женой вызвало огромное возмущение в широких слоях населения. Голоса в защиту прав супруги, становившиеся все громче, не слишком волновали Филиппа: он намеревался в ближайшем будущем доказать, что Хуана в самом деле душевно больна.
В течение восьми лет Хуана произвела на свет шестерых детей, четверых дочерей и двух сыновей — Карла и Фердинанда; оба в свое время должны будут стать императорами и наследовать мировую империю. Вскоре после провозглашения Хуаны и Филиппа королями Кастилии Филипп ясно понял: борьба с Фердинандом за власть в Кастилии неизбежна. Чем больше возникало противоречий с тестем, чем безумнее вела себя Хуана, тем плотнее он окружал себя толпой наемных солдат. Он избегал прогулок без охраны, перемещаясь по стране в боевом порядке.
Молодой король попал в непростую ситуацию. С одной стороны, назначение регентом в Нидерландах обязывало его заботиться о законе и порядке в стране, еще не оправившейся от продолжительной войны, с другой — он пытался получить в единовластное правление Кастилию. Филиппу и Хуане приходилось совершать длительные и опасные поездки, причем путь через Францию был всегда открыт для них, ведь Филиппа связывали дружеские узы с французским королем. Он дал Людовику XII клятву ленника, возмутив тем самым своего отца Максимилиана до глубины души. Но иногда более целесообразным казался морской путь в Испанию, во время которого Филипп и Хуана не раз подвергали свои жизни опасности. Суда выносило к английскому берегу. Потерпевшие кораблекрушение были обязаны жизнью мужеству моряков. Английский король Генрих VII знал свое дело. Хотя он и принимал спасенных путников гостеприимно, но, убаюканный непрерывными развлечениями, Филипп в конце концов заплатил за гостеприимство высокую цену: он подписал торговый договор, оказавшийся крайне убыточным для Нидерландов.
