Эта личность всегда была объектом для злословия, но в особенности прославилось сатирическое «Послание от мистера Поупа мистеру Арбетноту», написанное выдающимся английским поэтом Александром Поупом в 1735 году. В нем он изобразил лорда Харви в образе Спора, прекрасного юноши, вольноотпущенника древнеримского императора Нерона, которого тот приказал кастрировать и затем вступил с ним в брак как с невестой. Портрет, нарисованный пером этого мастера слова, весьма выразителен и безжалостен: «То возвышенный, то низменный, то барчук, то барышня, сам по себе гнусное противопоставление противоположностей. Двойственная тварь! Играющая любую роль, никудышняя голова или растлевающее сердце! Фат за туалетом, льстец за пиршественным столом, то порхает он как леди, то важно шествует как лорд».
Наличие красавицы жены, которую Харви так регулярно оплодотворял, совершенно не мешало ему увлекаться представителями противоположного пола. В 1726 году он повстречал в Бате 21-летнего помещика Генри Фокса и начал обхаживать его. Курс лечения на курорте завершился, отдыхающие разъехались по домам и общались посредством корреспонденции, более смахивавшей на переписку двух влюбленных голубков. На следующий год любовники вновь встретились в Бате, но Генри имел то ли несчастье, то ли счастье привезти с собой 23-летнего брата Стивена, на которого Харви немедленно переключил свое внимание. После пребывания в поместье Фоксов в графстве Сомерсет пара прошла еще одно двухмесячное лечение в Бате и отправилась в полуторагодовое путешествие по Европе.
От леди Харви потоком шли письма, подписанные «Твоя тоскующая жена», и по возвращении в родные пенаты муж прямиком направился в свое имение утешить ее и заодно отдать кое-какие хозяйственные распоряжения. По подсчетам современников, как раз через девять месяцев, день в день, Мэри родила их пятого ребенка. Из этого совершенно не следует делать вывода, что Стивен Фокс опостылел ему и Джон предпочел семейные ценности. Он убедил лорда Бэтмена (которого родня вынудила из-за его гомосексуальных наклонностей оформить раздельное проживание с женой, дочерью графа Сандерленда, видного политика) приютить Стивена в своем доме в Виндзоре. Объекты обеих привязанностей лорда Харви сблизились настолько, что даже после его смерти овдовевшая супруга и Стивен оставались друзьями до конца своих дней.
Хотя в глазах общества Харви был гомосексуалом, на самом деле он был бисексуалом, что подтверждалось вышеприведенным метким высказыванием леди Мэри Уортли Монтегю (1689-1772). Российскому читателю не совсем понятно, почему стоит верить именно этому утверждению, но эта женщина определенно знала, что говорила. Она всю свою жизнь пыталась идти против течения. Еще будучи юной дочерью герцога Кингстона, она не пожелала стать типичной кисейной барышней и тайком приобрела большие знания, пользуясь огромной библиотекой отца. Этими познаниями Мэри завоевала сердце своего будущего мужа, но сей претендент на руку дочери не понравился ее родителям. Тогда она просто-напросто сбежала и обвенчалась с ним без родительского благословения.
