Хотя принц был весьма увлечен леди Мельбурн и просиживал у нее в особняке до четырех утра, это не помешало его краткому роману с прекрасной графиней Кристианой фон Харденберг (1759-1793), женой советника ганноверского короля. Граф надеялся получить пост ганноверского посланника в Великобритании, с каковой целью и прибыл в Лондон. Принц увидел графиню во дворце на карточной игре у матери, королевы Шарлотты. Он тут же воспылал к ней неукротимой страстью, графиня для приличия оказала слабое сопротивление, но уступила и начала подговаривать его «бежать с ней». Об увлечении принца пронюхали газеты, разразился скандал. Королева Шарлотта настояла, чтобы графа фон Харденберга отправили обратно в Ганновер. Там графиня Кристиана вступила в связь с младшим братом принца, Фредериком, обучавшимся вместе с остальными братьями в Гёттингенском университете. Все это привело к тому, что возмущенный муж развелся с ней, покинул ганноверскую службу и впоследствии сделал карьеру в королевстве Пруссия, где вырос до премьер-министра.
Принц тем временем продолжал увлекаться женщинами. Одно время он волочился за Августой Кэмпбелл, дочерью герцога Аргайла, одной из восходящих звезд лондонского света. Он даже подарил ей ценное бриллиантовое колье, но, вопреки ожиданиям родителей, не сопроводил его предложением руки и сердца. Мать барышни сочла такое отношение неприличным и постаралась положить конец ухаживаниям королевского сына. Несмотря на то, что у девушки было много поклонников, речь о законном браке по какому-то странному стечению обстоятельств никто не заводил, и в возрасте 28 лет Августа сбежала с костюмированного бала с генералом Генри Мордаунтом Клейверингом (1759-1850), мотом и картежником. Они обвенчались в маскарадных костюмах, но Августа впоследствии всю жизнь сожалела об этом опрометчивом шаге. После рождения трех сыновей и дочери супруги перешли на раздельное проживание.
Можно привести еще несколько примеров увлечений влюбчивого принца, например, исключительно недалекой и малообразованной Шарлоттой Фортескью, которая, однако, пробудила в нем привязанность к курортному городку Брайтону. Впоследствии именно Брайтон стал местом его основного проживания и по этой причине сильно прибавил в своей популярности. К 1782-85 годам относится связь Джорджа со скандально известной герцогиней Девонширской. Но в 1785 году произошло событие, не прошедшее бесследно в бурной личной жизни принца: он встретил женщину своей судьбы, Марию Фицгерберт (1756-1837).
