Фавориты были неотъемлемой составляющей пышного елизаветинского царствования, но полностью жертвовать своей частной жизнью для своевольной и капризной королевы было делом тяжким. Естественно, будучи нормальным, здоровым и красивым мужчиной, граф Лестер не мог совершенно игнорировать женщин, слетавшихся к нему, как мухи на мед. По большей части он пробавлялся кратковременными увлечениями, которые прошли незамеченными для дворцовых сплетников. Однако в конце 1568 года у Роберта завязался более или менее постоянный роман с вдовой Дуглас Шеффилд (1542–1608). Она происходила из могущественной семьи Говардов, служила фрейлиной при королевском дворе, где и подцепила себе мужа, очень богатого пэра, барона Шеффилда. В браке родились двое детей, но муж вскоре скончался, и Дуглас могла полностью наслаждаться законной свободой.
Однако роман с фаворитом развивался как-то рывками. Вдова жаждала выйти замуж за Роберта, но он в своих письмах совершенно откровенно заявлял ей, что не может жениться даже с целью обзавестись законным наследником, ибо потеряет милость королевы. Граф Лестер зашел настолько далеко, что предложил любовнице помощь в обретении достойного мужа, поскольку из соображений респектабельности ей было предпочтительно обзавестись таковым, пока Дуглас была молода и в состоянии обрести претендентов на свою руку. Тем не менее эта связь продолжалась, и в 1574 году вдова родила младенца, которого также назвали Робертом. Лорд Дадли признал мальчика своим сыном и очень любил его. С Дуглас Шеффилд он, в конце концов, расстался, но мирно договорился с ней о совместном воспитании ребенка. Мальчик проживал в основном в доме Дадли, где ему обеспечивалось хорошее образование, но мог в любое время посещать мать. Та деятельно занялась устройством своей личной жизни и в 1579 году вышла замуж за Эдварда Стаффорда, человека с большими связями при дворе. Знакомства с влиятельными сановниками позволили ему получить должность посла Англии во Франции, каковые обязанности он исполнял в период с 1583 по 1591 год. В Париже его жена пользовалась большим уважением и даже сумела завоевать дружбу королевы Катарины Медичи.
Параллельно у Дадли развивался роман с женой Уолтера Деверё, Леттис, урожденной Ноулз (1543–1634). Эта связь вовсе не походила на мимолетную интрижку и вызвала большое неудовольствие королевы, поэтому любовники были вынуждены скрывать свои отношения. Леттис, по мнению иностранных дипломатов, была одной из самых блестящих дам при дворе. Красоту она унаследовала от своей бабки Мэри Болейн, старшей сестры Анны Болейн, так что приходилась Елизавете дальней родственницей. Некоторые современники были склонны считать это родство более близким, ибо Мэри, наделенная броской внешностью, некоторое время состояла любовницей короля Генриха VIII. Предположительно, ее дети Кэтрин (мать Леттис) и Генри Кэри были детьми короля.
