Когда Эстер возвращается в тюрьму, к ней приходит тот самый незнакомец, которого она видела на площади. Он врач и называет себя Роджером Чиллингуортом. Первым делом он успокаивает ребенка, затем дает лекарство Эстер. Она боится, что он ее отравит, но врач обещает не мстить ни молодой женщине, ни младенцу. Было слишком самонадеянно с его стороны жениться на юной красивой девушке и ждать от нее ответного чувства. Эстер всегда была с ним честна и не притворялась, что любит его. Так что они оба причинили друг другу зло и квиты. Но Чиллингуорт хочет узнать имя возлюбленного Эстер, имя человека, причинившего зло им обоим. Эстер отказывается назвать его. Чиллингуорт заставляет ее поклясться, что она никому не откроет его настоящего имени и своего с ним родства. Пусть все считают, что ее муж умер. Он решает во что бы то ни стало узнать, с кем согрешила Эстер, и отомстить ее возлюбленному.
Выйдя из тюрьмы, Эстер поселяется в заброшенном домике на окраине Бостона и зарабатывает на жизнь рукодельем. Она столь искусная вышивальщица, что у нее нет отбоя от заказчиков. Она покупает себе только самое необходимое, а остальные деньги раздает бедным, часто слыша в ответ оскорбления вместо благодарности. Ее дочь Перл красавица, но обладает пылким и переменчивым нравом, так что Эстер с ней нелегко. Перл не хочет подчиняться никаким правилам. Первым ее сознательным впечатлением стала алая буква на груди у Эстер.
Печать отверженности лежит и на девочке: она не похожа на других детей, не играет с ними. Видя странности девочки и отчаявшись дознаться, кто ее отец, некоторые горожане считают ее дьявольским отродьем. Эстер никогда не расстается с дочерью и всюду берет ее с собой. Однажды они приходят к губернатору, чтобы отдать заказанную им пару парадных расшитых перчаток. Губернатора нет дома, и они ждут его в саду. Губернатор возвращается вместе со священниками уилсоном и Димсдейлом. По дороге они говорили о том, что Перл — дитя греха и следует забрать ее у матери и передать в другие руки. Когда они сообщают об этом Эстер, она не соглашается отдать дочь. Пастор уилсон решает выяснить, воспитывает ли ее Эстер в христианском духе. Перл, которая знает даже больше, чем полагается в ее возрасте, упрямится и на вопрос о том, кто ее сотворил, отвечает, что ее никто не сотворил, просто мать нашла ее в розовом кусте у дверей тюрьмы. Благочестивые джентльмены приходят в ужас: девочке уже три года, а она не знает, кто ее сотворил. Они решают забрать Перл у матери, и ей удается оставить дочь у себя только благодаря заступничеству пастора Димсдейла.
