海絲特·白蘭的拘禁期結束了。牢門打開，她邁步走進陽光。對於她這顆孱弱病態的心來說，普照眾生的陽光，似乎只是為了暴露她胸前的紅字才這般光亮。在她獨自跨出牢門門檻的第一步時，她感受到的真正痛苦，或許比之前面描寫的遊街示眾，遭眾人指責唾罵反要難受得多。
因為那時她為一種超常的神經緊張和她性格中的全部戰鬥力量所支撐，使她能夠把那種場面變成一種慘淡的勝利。再說，這是一次個別的、孤立的事件，在她的一生中僅此一次，因此為了對付那個場面，她可以不惜一切，調動起在平靜的生活中多年用之不盡的生命力。而那個譴責她的法律，如同一個容貌嚴厲的巨人，其鐵腕既可消滅一個人，亦可支撐一個人；正是它當初扶持了她，幫助她挺過了示眾受辱的嚴峻考驗。但是此時，在她獨自走出獄門，開始日常生活之時，她必須用她天資中通常的力量來支持她前進，或者就此沉淪下去。她不能再向未來透支，幫她度過目前的悲痛。明天有明天的考驗，後天有後天的考驗，依此類推。
每天各有各的考驗，但有一點是相同的，即在當時都有難以言喻與難以忍受的痛苦。遙遠的未來的歲月步履艱辛，要她背起沉重的負擔，伴隨終身，不容丟棄。日積月累，年復一年，恥辱之上堆積起層層苦難。她將在長年累月之中，逐漸放棄她的個性，而成為佈道師和道學家眾手所指的一般象徵；他們以此來具體說明和體現他們關於婦女的脆弱本性與罪惡情慾的形象。他們教導純潔的年輕人好好看看她--這個胸前佩戴紅字的女人；看看她--這個有著可尊敬父母的淑女；看看她--這個有著一個今後將長成為婦人的嬰兒的母親；看看她--這個原來純潔無邪的女人，如今要把她看作罪孽的形象、罪孽的肉體和罪孽的存在。她必須帶入墳墓的恥辱，將是豎立在她墓前的唯一的墓碑。
這事看來實在令人覺得不可思議：既然在她面前展現著一個廣闊的世界，而且在她的判決書中沒有條款規定她非留在這塊既遙遠又偏僻的、清教徒聚居的殖民地里，她完全可以自由地回到她的出生地，或者任何其他歐洲國家，隱姓埋名，改頭換面，以嶄新的面貌出現，重新開始生活；或者，既然在她面前有著通向深不可測莽莽森林的小路，那裡人民的生活習慣跟制裁她的法律格格不入，卻跟她奔放不羈的本性倒可融為一體，她也可一走了之。但不可思議的是這個女人反把這個地方稱為她的家，留在這裡，而恰恰在這裡，她偏偏成了恥辱的典型。然而，確實存在著一種天數，一種感情，這種感情是如此之強大，使人無法抗拒，無法迴避；它具有決定命運的力量，幾乎無可改變地迫使人們逗留在某個地方，像幽靈一般地出沒在那裡，因為這個地方曾經發生過給人的一生增彩添色的重大事件。而那事件的悲傷的色彩愈是濃重，人也就愈發捨不得離開那個地方。她的罪孽，她的恥辱，便是她扎在這塊土壤里的根。她彷彿在這裡獲得了新生，比她的第一次誕生具有更強大的同化力量。這一新生把這塊對於其他移民和流浪者仍格格不入的林地，變成為海絲特·白蘭的家，雖荒涼又陰鬱，但可安身立命，苟且終生。世上別的地方，甚至包括她度過幸福的童年和無邪的少女時期的英格蘭的鄉村，像是好久以前換下來的衣服，任由她母親去保管了。相比之下，那些地方反而成了她的異鄉客地了。把她拴在這塊土地上的鎖鏈是由鐵環製成的，深深地嵌進了她靈魂的深處，永遠也不可能斷裂。
也許是--不，應該說確定無疑是--另一種感情把她留在這塊土地上，留在這條與她命運息息相關的小路上，雖然她把這種感情深藏心底，秘而不露，但一旦它像蛇那樣探頭出洞時，她就會面無人色。在那塊土地上住著一個人，在那條小路上踩踏著他的足跡。雖然世人並不認可，但她自認與此人已結為一體，終有一天會把他們帶到末日審判的法庭前，就以那法庭變為他們舉行婚禮的聖壇，立誓共同承擔未來永無止期的報應。靈魂的誘惑者一次又一次把這個念頭塞進海絲特的腦海里，繼而對她為之欣喜若狂的神情嘲弄一番，然後竭力要她摒棄這個念頭。
對於這個念頭，她一瞥了之，便匆匆把它深藏在地窖里。最後她終於發現並迫使自己相信，作為她繼續留在新英格蘭動機的東西，一半是真理，一半是自欺。她對自己說，這裡是她犯下罪孽的地方，這裡也就應該是她受人間懲罰的地方。或許，她這樣日復一日的受凌辱受折磨，最終會凈化她的靈魂，並造就出一個比她失去的更純潔、更神聖的靈魂，因為這正是她殉道的結果。
為此，海絲特·白蘭沒有遠走高飛。在城鎮的郊外，在半島的邊緣處，但又不靠近任何別的居民區，有一間孤零零的小茅屋。這座小茅屋原先是由一個早期的移民建造的，後來被遺棄了，因為附近的土壤十分貧瘠，不宜耕作，而且它離城較遠，使它與社會活動隔離，而當時社會活動已成為移民生活中的重要習慣。小茅屋位於海邊，朝西隔開一灣海水，與對面森林覆蓋的小山遙遙相望。在半島上唯一生長著的一叢矮樹，非但沒有掩遮住小茅屋，反倒像是在暗示這裡有一個目標，而那個目標本身原先是情願被掩遮起來，或者至少應當被掩遮起來的。在這間孤陋的小屋裡，海絲特靠著她擁有的菲薄資產，帶著她的嬰孩，棲身營生。
她的那些資產是得到一直嚴密監視她的地方長官的准允後帶來的。她的來到給這個地方立即蒙上了一層神秘的、令人疑惑不解的陰影。年幼無知的孩子們不能理解為什麼這個女人要被拒之於人類仁愛的範圍之外。
他們常常躡手躡腳地挨近小屋，窺視她在小屋邊穿針走線，或佇立門旁，或在小花園裡勞作，或沿著通向城鎮的道路徐徐走來；一旦他們看清她胸前的那個紅字，就會像深怕傳染上莫名其妙的瘟疫似的飛速逃走。
海絲特雖然處境孤寂，世上沒有一個朋友敢來造訪露面，但是她卻並不缺衣少食。她習得一門好手藝，雖然這地方還不能讓她充分施展本事，但靠它也足以養活她自己和正在茁壯成長的嬰孩。這門手藝就是針線活。無論在當時或現在，它幾乎是婦女唯一力所能及的技藝。她胸前佩戴的那個刺繡得十分奇妙的字母，是她精巧而富於想像力的技藝的一個標本。甚至宮廷貴婦也會非常樂意利用這技藝來給她們的夾金銀絲的織物增添一份經人工妙手裝飾的絢麗和靈氣。確實，在這裡，清教徒的服式一般以黑色和簡樸為特點，她的那些精美的手工活兒不一定常有人來問津。不過，時代的品味對這類精美製品的要求也難免要影響到我們嚴肅的祖先們。他們自己就曾摒棄過許多似乎難以廢置的舊款式。一些公眾的典禮，如聖職加委、官吏任職，以及新政府可以對人民顯示威儀的其他種種儀式，按慣例都執行得莊嚴有序，表現得既陰森又故作炫耀。
齊頸的環狀皺領、編織精美的飾帶和刺繡華麗的手套，都被認為是顯耀官吏權勢必不可少的東西；同時儘管反對奢侈的法律禁止平民百姓效法這類鋪張浪費，但是有財有勢的人仍可以隨心所欲，禁而不止。在葬禮中，無論是死者的裝裹，還是親屬誌哀穿著的黑色喪服或白色長袍上，各式各樣象徵性的圖案，都時時在向像海絲特·白蘭這樣的能工巧匠提出需求。而嬰孩的服裝--當時是穿一種袍服--也為她提供了幹活掙錢的機會。
沒過多久，她的針線活就漸漸地成了現在稱作的時髦款式了。不知是出於對這個苦命女子的憐憫，還是出於一種病態的好奇心，即對普普通通又無價值的東西故意抬高其身價的心理；也許出於另外一種不可捉摸的情況，就和現在一樣，有的東西有些人苦求不得，而有些人卻天賜神賦，綽然有餘；也可能因為海絲特確實填補了一個空缺，做了原先沒有人做的事。總之，不管什麼原因，反正求她做針線活的人不少，只要她願意干多長時間活，就有多少活可干，收入頗豐。一些人可能為了抑制自己的虛榮心，特意在堂皇莊嚴的典禮上，穿著她這雙罪惡的手縫製的衣服。於是，她做的針線活便出現在總督的皺領上、軍人的綬帶上、牧師的領結上、嬰孩的小帽上、甚至死人的棺木里，封閉在那裡發霉腐爛。可是唯有一種情況是在記錄里沒有的，那就是從來沒有人來求她為新娘刺繡遮蓋在她們純潔的羞赧紅顏上的白面紗。這一例外說明社會對她的罪孽始終疾首蹙額，深惡痛絕。
海絲特除了維持生計之外別無所求，自己過著最儉樸、最艱苦的生活，孩子的生活則稍稍寬裕些。她自己穿的是粗布做的衣裙，顏色是最暗淡的，佩戴的唯一裝飾品就是那個紅字--那是她註定非戴不可的。
相反，孩子的服裝卻別出心裁，給人一種富於想像或者可以說，充滿奇思妙想的印象。它確實給這個小女孩早已開始表現出來的那種飄逸的嫵媚增加了幾分魅力，不過它也許還會有更深一層的意義。這一點我們以後再詳談。海絲特除去打扮她的嬰孩稍有花費之外，她把全部多餘的收入用於救濟他人，而這些人並不比她生活得更凄苦，而且還時常忘恩負義地侮辱施惠於他們的人。本來她