牧師在海絲特·白蘭和小珠兒之前先離開了。走遠之前，他回過頭來瞥了一眼，他本來只是期望再看上一眼正慢慢消失在林地暮靄中母女兩人依稀可見的面容與身影，因為他的生活中發生了如此巨大的變化，他無法立刻信以為真。但是，海絲特分明在那裡，身穿灰色長袍，仍然站在那根樹榦旁邊。那樹榦是很多很多年以前給大風颳倒的，從此，年深日久上面長滿了苔蘚，倒給了這兩個承受著世上最沉重負擔的、命運相聯的人一席之地，讓他們可並肩而坐，共享短短一個小時的安寧和慰藉。珠兒也在那裡，輕快地從溪邊蹦蹦跳跳地過來，回到母親身邊她原來的位置，因為這時闖進來的第三者已經走了。由此看來牧師剛才並沒有昏昏睡去，並非在做夢！
這次會見在牧師的心上留下了一些模糊不清、模稜兩可的印象，這些印象攪得他心神不寧。為了擺脫與澄清這些印象，他重新回憶和更徹底地確定他和海絲特擬定的出走計畫。他們兩人已經決定，與只在沿海一帶稀疏地散落著一些印第安人的茅屋和為數不多的歐洲移民聚居區的新英格蘭或整個美洲相比，人口稠密、城市林立的舊大陸更適合於他們避難或隱居。暫且不說牧師的健康狀況不適宜於忍受森林中生活的艱辛，他的天生的才能，他的文化教養，以及他整個的發展，也只有在文明和優雅的環境中，才能充分發揮，適得其所；環境愈高雅，這個人就愈能適應，應付裕如。促使他們作出這一抉擇的另一個原因是恰巧有一隻船停泊在港口裡；它是當時經常在港口出沒的那種形跡可疑的航船中的一艘，這種船雖然還不完全是公海上的不法船隻，但是在海面上遊盪時，帶有一種明顯的不負責任的性質。這艘船是新近從西班牙領海開來的，三天後就要開往英國的布里斯托爾去了。海絲特·白蘭作為婦女慈善會的志願人員，她的工作使她有機會結識了這艘船的船長和水手，因此她能夠設法十分秘密地讓兩個大人與一個小孩上船搭乘，而嚴加保密是此舉必要的、求之不得的條件。
牧師曾經十分關切地詢問過海絲特關於這艘船的離港的確切日期。
它很可能就在從現在算起的第四天。"那是最幸運的了！"他當時自言自語地說。那麼，為什麼丁梅斯代爾牧師先生認為那個日子是最幸運不過呢，我們本不想公諸於眾。然而，為了對讀者無所保留，我們可以說那是因為從現在起的第三天，他預定要去慶祝神的選擇日①的佈道會上講道；同時，因為在這樣的一個場合佈道對於一個新英格蘭牧師來說是一生中非常榮幸的時刻，他不可能找到更合適的方式和時間來結束他的職業生涯。"至少，他們將來說到我時，"這個為人楷模的人自忖道，"不會說我擅離職守或者敷衍塞責！"像這樣一位可憐的牧師如此深刻和銳利的內省居然會遭到這般可悲的誤解，委實令人傷心！我們已經說過，也許以後還會說到他這個人辦的許多糟糕的事情；但是，就我們所知，沒有一件事表現得如此之軟弱，讓人感到可憐；也沒有一件比這更微不足道卻又無可辯駁的證據，說明他患有一種十分微妙的疾病，早已腐蝕了他的真實的性格。沒有人能夠在相當長的時間內給自己扮出一副面孔，對眾人又露出另一副面孔，因為這樣的人最後自己都弄不清楚究竟哪一個是真實的面孔。
丁梅斯代爾和海絲特會面後回來，他激動的心情賦予他少見的體力，促使他加快腳步回城裡去。那林間小道似乎比他記憶中出來時更荒野，更加崎嶇不平，而且人跡更為稀少。但他跳過泥濘的水窪，穿過纏人絆腳的矮樹叢，爬上山坡，衝下低谷；總之，他克服了路上的一切困難，表現出來的那種不知疲勞的活力連他自己都感到驚訝。他不禁回想起，僅在兩天以前，他走在這同一條路上，步履是多麼的艱難，身體孱弱，走不了幾步就要停下來喘口氣。當他走近城時，呈現在他眼前的許多熟悉的事物似乎都變了樣子。好像不是在昨天，不是一兩天，而是許多天，甚至許多年前，他就已經離開它們了。的確，街道依舊，跟他記憶里的一模一樣；房屋的一切特色，諸如眾多的山牆，每一個他原先記憶中飾有風信雞的尖頂照舊不變。然而，那種起了變化的感覺卻仍然十分強烈地佔據著他的思想。至於他所遇到的熟人，以及這個小城鎮里人們生活的種種熟悉的狀態也一樣沒有變。人們看上去既未變老，也沒變得年輕；老人的鬍鬚也沒變得更花白，昨天還只會在地上爬行的嬰孩今天也沒有能站起來行走；簡直不可能說出在他最近離開時匆匆瞧上一眼的那些人究竟在哪些方面有所不同；然而，牧師最深層的意識似乎在告訴他，他們已經變了，當他走過他自己教堂的牆下時，他最顯著地感觸到這樣一個相似的印象。那建築物的外表是那樣陌生，又那樣熟悉，丁梅斯代爾先生的心在這兩種思想之間波動：要麼只是他以前在夢中見到過，要麼他現在正在做夢，是在夢中見到這一切。
這個表現為千姿百態的現象，並非表示外界真的起了變化，而是說明觀察這些熟悉景物的人內心發生了重要的突變，因而在他的意識里產生相隔一日如隔多年之感。這也是牧師本人的意志、海絲特的意志以及兩人共同的命運造成的這個變形。城鎮還是原來的城鎮，可是從森林裡回來的牧師已不是從前的牧師了。他很可能對那些向他打招呼的朋友們①指為慶祝新的總督上任時作的佈道。按加爾文教教義，一個人的工作或靈魂的拯救都是由上帝選擇與決定的。
說："我已經不是你們心目中的那個人了！我把他留在那邊的森林裡，隱退在幽谷里，離一條憂鬱的小溪不遠，就在一棵長滿青苔的樹榦旁邊！
去，去到那裡找你們的牧師吧！看一看他那憔悴的身形，他那瘦削的面頰，他那蒼白、沉重，布滿痛苦皺紋的前額，是不是像一件脫下來的衣裳給撂在那裡。"毫無疑問，他的朋友們仍然會對他說："你還是原來的那個人！"但是，那是他們弄錯了，他沒錯。
在丁梅斯代爾先生回到家裡之前，他內心裡的那個人又給了他別的一些證據，證明他的思想感情已經發生了一次大革命。的確，假如在那個內心的王國里不是發生改朝換代，倫常綱紀徹底改變的話，實在無法解釋如今支配著那個不幸而驚恐的牧師的種種衝動。他每走一步，總是想作出這樣或那樣的奇怪的、狂野的、邪惡的事，可是又覺得那樣做既非自願卻又故意為之；一方面是不由自主，另一方面又出於比反對這種種衝動更深層的自我。比如說，他遇見了他教堂里的一名執事。這位善良的老人用一種慈父般的深情和長老式的姿態跟他打招呼，因為他年高德重，加之他在教會裡的職位和資歷使他有權利這麼做；與此相應的，老人對牧師懷有深深的、甚至近乎崇拜的敬意，則是牧師的職業和個人的品德同樣有資格享有的。再也沒有更好的例子來說明：年紀和智慧的威嚴與對之表示的謙恭和敬意可以一致起來，就如一個社會地位較低、天賦不高的人對比他高的人也可以不卑不亢，做得十分相稱一樣。這時，當丁梅斯代爾跟這位德高望重、鬚髮灰白的執事談話的短暫時間裡，牧師必須要小心翼翼地控制自己才不致把冒到嘴邊的有關聖餐的某些褻瀆神明的話說出口來。他緊張得渾身發抖，面色蒼白，獨怕他的舌頭不聽指揮，不自覺地說出那些可怕的言辭。但是，儘管他內心十分懼怕，但是一想到要是他當真說出那些褻瀆神明的話來，那位虔誠的老前輩執事一定會嚇得目瞪口呆，不禁要失聲大笑起來。
另外，還發生了另一件性質相仿的事。就在丁梅斯代爾先生在大街上匆匆行走的時候，遇見了分教會一位最為年長的女教友，一位最虔誠、堪稱模範的老太太。這位孤苦伶仃的寡婦，心中充滿了她對許久以前已故的丈夫、孩子和朋友們的懷念，就好像一塊墓地豎滿了重重疊疊的墓碑一樣。這一切本來可以變為深沉的愁傷，但是因為她三十多年來不斷地以宗教的慰藉和《聖經》的真理來滋養充實自己，因而在她虔誠的年邁的心靈中，這些回憶幾乎都變成一種肅穆的歡愉。自從丁梅斯代爾先生將她收為教友，負責照管以來，這位善良的老太婆在現世上最主要的安慰--如果這種安慰不同時也是天國的安慰的話，便根本算不上什麼安慰--就是同牧師的會面，無論是不期而遇，還是專程拜訪，只要從他那可愛的雙唇中說出一兩句溫馨的、帶有天國氣息的福音真理，送進她半聾的，但喜聞樂聽的耳朵里時，她就會精神煥發。然而這一回，一直到丁梅斯代爾先生把他的雙唇湊近老太婆的耳邊之前，他好像是受了人類靈魂的大敵的指使一樣，竟然忘記了《聖經》經文，或是別的什麼，只是簡單地說了一句什麼人類靈魂並非是不朽的，還認為那是毋庸置辯的。這番話如果灌輸進這位年邁的女教友的心靈里去，她很可能會立刻倒斃，彷彿是中了劇毒。他究竟在她耳邊竊竊低語了什麼，事後他自己怎麼也回憶不起來。或許，很僥倖，他當時語無倫次，善良的寡婦就沒有聽明白，沒有得到任何明確的思想，或者是上天按照自己的方式作出了解釋。反正，當牧師回頭看去時，只見到她臉上浮現出一副感激上帝的欣喜表情，似乎天