Уже в начале знакомства с Достоевским Исаев был болен и несчастен. Семипалатинское общество чиновников и офицерских жен перестало его принимать, местные власти были возмущены его пьяными речами и дерзкими выходками, кутежи и безалаберная жизнь привели его семью к долгам и нужде. Достоевский часто выговаривал ему, читал нотации, но это не помогало, и всё продолжалось по-прежнему.
Жена Исаева, Марья Димитриевна, у которой был от него семилетний сын Паша, очень страдала от создавшегося положения. Отец ее, Димитрий Степанович Констант, начальник карантина в Астрахани, был, по всей вероятности, сыном французского дворянина, бежавшего в Россию, как и множество его сородичей, от ужасов революции и террора. Не следует придавать значения свидетельству дочери Достоевского, Любови, которая, в числе прочих своих измышлений и фантазий, сообщает, будто отцом Марьи Димитриевны был наполеоновский мамелюк, который-де попал в плен в 1812 году, был отправлен в Астрахань и там пленил сердце какой-то купеческой девицы, вышедшей за него замуж и устроившей его в армию. Хотя Любовь признает, что «вид Марьи Димитриевны не выдавал ее восточного происхождения», она не удерживается от замечания: «Как все негритянки, она была хитра». Сказка о происхождении Марьи Димитриевны, как и многие другие небылицы на ее счет, имели одну совершенно определенную цель – опорочить Марью Димитриевну и доказать, что она была интриганка и обманщица и что Достоевский не любил ее. Известно, что вторая жена писателя, Анна Григорьевна, тщательно вымарывала из его писем все те места, в которых он говорил о своей любви к Исаевой или хвалил ее. Эта ревность к прошлому, очевидно, передалась и дочери писателя, и она постаралась очернить Марью Димитриевну.
Дочь полковника Константа получила хорошее по тому времени воспитание. В 1854 году ей было 28 или 29 лет (она родилась в 1825 или 1826 году).
«Довольно красивая блондинка среднего роста, очень худощавая, натура страстная и экзальтированная, – так рисует ее Врангель, – она была начитана, довольно образована, любознательна, и необыкновенно жива и впечатлительна». На сохранившемся дагеротипе эпохи ее волнистые светлые волосы разделены пробором посредине; рот несколько широк с выдающейся, чуть припухлой нижней губой, придающей всему лицу капризное выражение, глаза темные, глубокие, но небольшие. Страхов говорит, что черты ее были мелкие, но привлекательные, а на щеках играл нездоровый румянец. Вид у нее вообще был хрупкий и болезненный, и этим она порою напоминала Достоевскому его мать. Нежность ее лица, физическая слабость и какая-то душевная беззащитность вызывали в нем желание помочь ей, оберегать ее, как ребенка. То сочетание детского и женского, которое всегда остро ударяло по чувственности Достоевского, и сейчас возбудило в нем сложные переживания, в которых он не мог, да и не хотел, разобраться. Марья Димитриевна сразу очаровала его и своими материнскими о нем заботами, и своей хрупкостью, пробуждавшей в нем физическое влечение. Кроме того, он восхищался ее тонкой и необыкновенной, как ему казалось, натурой.
