Познания в медицине и набожность снискали Чиллингуорту уважение жителей Бостона. Вскоре по прибытии он избрал своим духовным отцом преподобного Димсдейла. Все прихожане весьма почитали молодого богослова и были обеспокоены его здоровьем, резко ухудшившимся в последние годы. Люди видели в приезде в их город искусного врача перст Провидения и настаивали, чтобы мистер Димсдейл обратился к нему за помощью. В результате молодой священник и старый врач подружились, а потом даже и поселились вместе. Чиллингуорт, который взялся за расследование тайны Эстер с суровым беспристрастием судьи, все больше подпадает под власть одного-единственного чувства — мести, которая подчиняет себе всю его жизнь. Почувствовав пылкую натуру молодого священника, он хочет проникнуть в потаенные глубины его души и для этого не останавливается ни перед чем. Чиллингуорт все время провоцирует Димсдейла, рассказывая ему о нераскаявшихся грешниках. Он утверждает, что в основе телесного недуга Димсдейла лежит душевная рана и уговаривает священника открыть ему, врачу, причину его душевных Страданий. Димсдейл восклицает: «Кто ты такой, чтобы <…> становиться между страдальцем и его Господом?» Но однажды молодой священник крепко засыпает днем в кресле и не просыпается даже тогда, когда Чиллингуорт входит в комнату. Старик подходит к нему, кладет руку ему на грудь и расстегивает одежду, которую Димсдейл никогда не снимал в присутствии врача. Чиллингуорт торжествует — «так ведет себя сатана, когда убеждается, что драгоценная человеческая душа потеряна для небес и выиграна для преисподней». Димсдейл чувствует к Чиллингуорту неприязнь и корит себя за нее, не находя для нее причины, а Чиллингуорт — «жалкое, одинокое существо, еще более несчастное, чем его жертва» — всеми силами старается усугубить душевные муки Димсдейла.
Однажды ночью Димсдейл идет на рыночную площадь и становится у позорного столба. На заре мимо проходят Эстер Прин и Перл. Священник окликает их, они всходят на помост и встают рядом с ним. Перл спрашивает Димсдейла, постоит ли он здесь с ними завтра днем, но он отвечает, что в день Страшного суда они будут стоять все втроем перед престолом великого судии, но сейчас еще не время и дневной свет не должен видеть их втроем. Темное небо вдруг озаряется — вероятно, это свет метеора. Они видят недалеко от помоста Чиллингуорта, который неотрывно смотрит на них. Димсдейл говорит Эстер, что испытывает невыразимый ужас перед этим человеком, но Эстер, связанная клятвой, не открывает ему тайны Чиллингуорта.
