В кружке знакомых Милля вскоре заговорили о его увлечении миссис Тэйлор, и эти слухи дошли и до его отца. Можно себе представить негодование Джеймса Милля, когда он узнал, что его сын, которым он так гордился и на воспитание которого положил столько труда, влюблен в замужнюю женщину! В его глазах это было непростительной слабостью, недостойной истинного ученого и философа. Он попробовал выразить сыну свое неудовольствие по этому поводу, но тот ответил, что питает к миссис Тэйлор такие же чувства, как к какому-нибудь товарищу-мужчине, и затем решительно уклонился от всяких дальнейших разговоров. Отец больше не задевал эту тему, и с этого времени имя миссис Тэйлор никогда не упоминалось в семье. Милль не допускал постороннего вмешательства в свои отношения к любимой женщине и разошелся со многими из своих друзей из-за того, что они позволили себе коснуться этого щекотливого пункта. Так, он совсем рассорился с миссис Грот, с Гарриет Мартино, с миссис Остин. Мужчины в данном случае были тактичнее дам и не досаждали ему своими советами и увещаниями.
В своей «Автобиографии» Милль говорит, что в течение двадцати лет, пока был жив муж миссис Тэйлор, их отношения держались исключительно на почве дружбы и совместной умственной работы. Тем не менее, при жизни мистера Тэйлора положение Милля было очень трудное. Он не мог не сознавать, что внес разлад в семью любимой женщины и что его чистая и благоговейная любовь набрасывает на нее тень в глазах общества. Большинство знакомых не верило в идеальный характер их отношений и строго осуждало их обоих.
Муж миссис Тэйлор вел себя вполне по-джентльменски: он предоставил своей жене полную свободу и не мешал ее близости с Миллем, несмотря на все толки, ходившие по этому поводу. Они постоянно виделись у него в доме в Реджент-парке. Бэн рассказывает: «Милль в течение нескольких лет ходил к ней обедать около двух раз в неделю, в те дни, когда мужа ее не было дома. Сверх того, бывали дни, когда он отказывался прогуляться со мной от управления Ост-Индской компании до дому. В один из таких дней я случайно заметил, что он, простившись со мной, поспешно сел в омнибус, направлявшийся в Реджент-парк».
Странно представить себе солидного, рассудительного Милля, каким он рисуется нам по своим сочинениям и по «Автобиографии», тайком от друзей спешащего на свидание!
Позднее миссис Тэйлор большую часть года проводила в деревне в окрестностях Лондона вместе со своей маленькой дочерью Еленой. В деревне Милль виделся с ней чаще, чем в Лондоне. Иногда они вместе предпринимали небольшие поездки за границу. Милль постоянно делился с ней всеми своими мыслями, читал ей черновики своих произведений и придавал большое значение ее суждениям. В своих книгах он часто обращался к ней с восторженными посвящениями; по словам Грота, нужно было иметь репутацию Милля, чтобы позволять себе такие смешные выходки. Например, посвящение в его «Политической экономии» гласит: «Это сочинение, в знак глубочайшего почтения, посвящается миссис Тэйлор, которая из всех известных автору лиц наиболее способна понять и оценить исследование о человеческом прогрессе». Посвящение в его книге «О свободе», вышедшей уже после ее смерти, еще более характерно: «Дорогой памяти той, которая была вдохновительницей и частью автором всего, что есть лучшего в моих сочинениях, жене и другу, чье одобрение было для меня лучшей наградой, – я посвящаю эту книгу. Как и все, что я писал в течение многих лет, эта книга принадлежит столько же ей, сколько и мне».
