Когда Яков V осознал размеры потерь, он впал в отчаяние и повернул на север, сопровождаемый лишь личной свитой. Сообщают, что он сначала отправился в замок Танталлон, стоящий на юго-восточном берегу реки Форт, чтобы проститься с любовницей, вверенной заботам жены Оливера Синклера, но затем, вероятнее всего, поскакал в Эдинбург, чтобы привести в порядок личные дела, прежде чем навестить жену Марию, ожидавшую родов в Линлитгоу.
Замок Линлитгоу, строго говоря, личная собственность королевы, был роскошно отделан в соответствии с последними веяниями французской моды. Жаркое пламя каминов, богатые гобелены и вся роскошь, которая только могла окружать государя, встретили Якова, когда он проехал сквозь арку южных ворот, выстроенных по образцу ворот Венсенского замка близ Парижа. В парадном дворе находился фонтан, замерзший, но тем не менее впечатляющий; он был украшен изящными рельефами с изображениями русалок, менестрелей и геральдических зверей, выдержанными в современном французском стиле; он был построен Яковом, чтобы порадовать королеву. Но король был слишком подавлен, и на него не произвела впечатления окружавшая его роскошь. Он провел два дня с беременной женой, и в это время придворные дамы делали все возможное, чтобы не позволить его грусти расстроить ее, а затем попрощался и уехал в свой охотничий замок в Фолкленде (графство Файф).
В более счастливые времена дворец в Линлитгоу был особым проектом Якова и Марии, они вместе следили за его строительством и отделкой. Но на этот раз, когда король приехал в новый дворец, счастье оставалось лишь приятным воспоминанием. Ведь в Эдинбурге, сразу после катастрофы при Солуэй Мосс, ему напророчили, что через пятнадцать дней он умрет. Слуги короля, занимавшиеся необходимыми приготовлениями, спросили, где бы он пожелал провести со своим двором Рождество, и услышали в ответ: «Я не знаю, выбирайте место сами. Я знаю лишь, что на Святки у вас не будет господина, а у королевства — короля». Он удалился в свои покои в Фолкленде безутешным, постоянно вспоминая о потерях, понесенных у Солуэй Мосс.
Хотя убитых было немного, большое число знатных дворян оказались в плену, и выкуп за них должен был обойтись Якову V в огромную сумму, которой он не имел. Он восклицал: «А Оливера взяли? Беги, Оливер!» — пугая слуг. В возрасте тридцати лет Яков Стюарт сломался под бременем власти. Оплакивая потерю людей, которых он сам повел в безрассудный набег, он претерпевал страшные муки и умирал от горя, сокрушаясь о своем неудачном правлении. Хронист Роберт Линдси из Питскотти пишет, что «его почти до смерти задушила» глубокая меланхолия.
