В панаевском кружке по интересам Авдотья познакомилась с Федором Достоевским. Она сразу поняла, что этот молодой человек страшно возбудим и впечатлителен. Широкой известностью пользовалась история о том, что представленный на одном из вечеров «красавице с пушистыми пуклями и блестящим именем, белокурой и стройной» госпоже Сенявиной, Достоевский потерял сознание и забился в эпилептическом припадке.
«Он был худенький, маленький, белокурый, с болезненным цветом лица; небольшие серые глаза его как-то тревожно переходили с предмета на предмет, а бледные губы нервно передергивались… Все старались занять его, чтобы уничтожить его застенчивость и показать ему, что он член кружка». Его стеснительность хозяйка пыталась преодолеть радушием и предупредительностью. «Вчера я в первый раз был у Панаева и, кажется, влюбился в жену его. Она умна и хорошенькая, вдобавок любезна и пряма донельзя», – писал Достоевский брату. И можно ли было не влюбиться в эту старающуюся всем услужить, молодую очаровательную женщину: она вся точно светилась: блеск ее зубов, вишневых глаз, крупных бриллиантов на шее и в ушах сливались в ослепительное сияние. Темное платье, отделанное кружевами, подчеркивало стройную фигуру.
По словам жены писателя, А.Г. Достоевской, «увлечение Панаевой было мимолетно, но все же это было единственным увлечением Достоевского в его молодые годы. В доме у них, где к Федору Михайловичу начали относиться насмешливо, неглупая и, по-видимому, чуткая Панаева пожалела Достоевского и встретила за это с его стороны сердечную благодарность и нежность искреннего увлечения».
Впечатление, произведенное Панаевой, было настолько сильным, что ее именем и одной очень характерной чертой ее внешности Достоевский наградил героиню «Преступления и наказания», сестру Раскольникова: «Рот у нее был немного мал, нижняя же губка, свежая и алая, чуть-чуть выдавалась вперед, вместе с подбородком, – единственная неправильность в этом прекрасном лице, но придававшая ему особенную характерность и, между прочим, как будто надменность».
Болезненное самолюбие Достоевского осложняло непринужденное общение. «Он заподозрил всех в зависти к его таланту и почти в каждом слове, сказанном без всякого умысла, находил, что желают умалить его произведение, нанести ему обиду. Он приходил уже к нам с накипевшей злобой, придирался к словам, чтобы излить на завистников всю желчь, душившую его. Вместо того чтобы снисходительнее смотреть на больного, нервного человека, его еще сильнее раздражали насмешками». Он перестал бывать у Панаевых: «Достоевский страшно бранит всех и не хочет ни с кем из кружка продолжать знакомства, он разочаровался во всех, это все завистники, бессердечные и ничтожные люди». Но разочарование не коснулось хозяйки дома. Достоевский писал брату: «Я был влюблен не на шутку в Панаеву, теперь проходит, а не знаю еще». Через много лет в рассказе «Бобок» Достоевский вспомнит о «светской львице» Панаевой и наградит ее именем одну из «загробных» дам – Авдотью Игнатьевну, мечтающую и на том свете тоже иметь поклонников.
