После всего этого Нельсону ничего не оставалось, как сдавать дела и уезжать в Англию, причем чем быстрее, тем лучше. Но и здесь Нельсон остался верен себе. Он снова просит Адмиралтейство предоставить для его (и четы Гамильтонов, разумеется) переезда линейный корабль. Разумеется, Адмиралтейство ответило решительным отказом.
Нельсон обиделся. Он искренне считал, что его заслуги стоят того, чтобы к нему относились не так, как ко всем другим. Леди Гамильтон утешала и говорила, что если обстоятельства складываются таким образом, то им лучше всего отправиться в Англию сухопутным путем через Европу. Они бы сопровождали королеву Марию Каролину, которая решила нанести визит своим родственникам в Вене. Таким образом, леди Гамильтон рассчитывала продолжить прославление Нельсона, но уже по всей материковой Европе.
— Я превращу для тебя эту поездку в сплошной триумф! Пусть все увидят героя Нила! — говорила она своему Горацио. — Поверь, это будут самые счастливые дни твоей жизни!
Будущее влюбленных, однако, не представлялось безоблачным. Нельсон не мог не понимать, что своей связью с Эммой ставит под удар свою репутацию и карьеру. Эмма также не могла не понимать, что связь с Нельсоном грозит перечеркнуть все, чего она с таким трудом добилась в своей жизни. Не был для обоих выходом из создавшегося положения и развод, ибо во времена Георга III отношение к разводу было в Англии самое отрицательное.
Исследователь жизни Нельсона В. Трухановский пишет: «В самом конце восемнадцатого века положение с разводами в Англии осложнилось. В 1798 году палата лордов унифицировала многочисленные юридические положения и установления, регулирующие эту область семейных отношений. Теперь процедура развода предусматривала три стадии: сперва требовалось получить положительное решение специального церковного суда; затем муж, если он хотел вновь вступить в брак, должен был обратиться в палату лордов, которая в случае своего согласия принимала специальный билль о разводе, и, наконец, после всех этих процедур выносил свое решение обычный суд. Таким образом, развод мог быть осуществлен лишь актом парламента, то есть практически невозможен».
Однако человек всегда надеется на лучшее, а потому и Нельсон не терял надежды, что все как-нибудь разрешится. Вместе с четой Гамильтонов он переходит на своем «Фоудройанте» из Палермо в Ливорно. Там их уже ждет королева Мария Каролина. В день прибытия английского линейного корабля по городу разносится новость, что австрийская армия разгромила генерала Бонапарта в битве при Маренго. Королева приглашает гостей в театр, где из ложи кричит ликующей толпе свои приверженцев:
