1982—1985年
溫妮·曼德拉堅信她的丈夫有朝一日會走出羅本島，這一希望已經應驗，但並非是她所想的那樣——即並非獲得了自由。1982年4月的一天晚上，曼德拉、西蘇魯，以及其他3名屬於利沃尼亞案的政治犯——卡特拉答、馬拉巴、姆蘭蓋尼被命令收拾行李並被匆忙運到大陸。翌日早晨，他們在羅本島的同志們一覺醒來，發現他們5個床位空了。西蘇魯早就成為他們的知己，而曼德拉成為他們的父親。
溫妮先從報紙上獲悉這一遷移，繼而又從電視上聽到這一消息。最後她收到了來自監獄部門的信，通知她說她丈夫已被轉移到波爾斯摩爾最高治安監獄，沒有說明轉移的理由。她推測這也許是為了阻止曼德拉在獄中已承擔的領導工作：如為年輕的難友籌集學習資金等。或許是白人政府企圖驅散「曼德拉在羅本島」的觀念，因為這一觀念正象神話似的在黑人當中傳播開。
一輛密封的軍車載著曼德拉等5人從開普敦港行駛近一個小時到達托凱白人郊區的波爾斯摩爾監獄，一路上他們都站著。曼德拉等人根本不會看到外部的景色——那作為南非美景之一的桌山和監獄後面的丘陵間的河谷，那裡是一望無際的葡萄園和小松樹林。這僅僅是殘酷剝奪的開始，犯人們被禁錮在監獄的高牆內，與外界完全隔絕。正如曼德拉後來告訴來訪者的那樣，在這裡，他才懂得英國詩人奧斯卡·王爾德所寫的「犯人們將藍色的小帳篷稱為天空」是什麼意思。
波爾斯摩爾，這個黃磚砌成的長長的現代化建築群中，分別關押著數千名各種族的犯人。在一幢「孤立」建築物的4樓，曼德拉和他的4位戰友被關在一個大的單間里，這裡可以通往一個由「L」形高牆圍成的院子。和他們關在一起的還有一個名叫帕特里克·馬奎比拉的年輕人，被判處20年監禁。
象往常一樣，曼德拉早上3時半起床，進行兩個小時他稱之為「出一身大汗」的鍛煉，白天看書及學習。
人們發現這裡某些條件比在羅本島好：較好的伙食，偶爾能從開普敦友人那兒得到食品。現在他們能夠讀到一系列報紙，其中包括《每周衛報》和《時代》周刊，以及一個收音機，「很不幸，是調頻的，」曼德拉說：「所以我們只能收到南非台而聽不到英國廣播電台。」
正如溫妮第一次到這裡所發現的那樣：接待室還算舒適，探視室窗上有一塊很大的玻璃隔板，使她能看到丈夫的上半身，特製麥克風取代了過去的電話機，使她20年來第一次清楚聽到丈夫的聲音。從外表和聲音看他似乎很好。不久，監獄的看守宣布「探視時間到！」然則，警官格雷戈里說：「曼德拉太太，你還有5分鐘。」澤妮談到格雷戈里時說：「他倒是個好人。」他在羅本島認識了曼德拉和他的同志，隨著對他們的了解，格雷戈里變了，他又陪同曼德拉等人轉到波爾斯摩爾監獄。對忍受了多年粗暴待遇和艱辛經歷的曼德拉夫婦來說，上述這些輕微的改進都很珍貴。
一年後，在1983年3月的一次探視中，曼德拉衝破了不許談論監獄情況的規定。溫妮後來說，曼德拉告訴那些監督探視的獄吏們說，他獲准和家人談論有關他的健康問題：「由於這裡的狀況，我不得不談論這個問題，這是我的權利。」當曼德拉告訴她監獄裡的條件大大惡化，他的難友們認為應該將這種狀況通知她，以便「轉告有關的人及新聞界，」溫妮寫信給在倫敦的一個朋友說，曼德拉第一次發出失望的語調。
最痛苦的事是在這裡人們失去了多年來在羅本島特殊區域所享受的集體生活的樂趣。先前每人都有自己的單間，而在波爾斯摩爾他們卻被關在一起並完全和其他犯人隔離開來。在羅本島，他們可以在特殊區域內自由行動，大部分白天時間在戶外；現在他們卻不能走出去，從離開羅本島以後，他們沒有看見過一片樹葉。那些希望學習的人不能苛求他人默不作聲，其他一些有助於減輕牢獄生活之苦的微小「特權」也被剝奪了。更嚴重的是下雨時通過獄室的牆滲出的水危害健康，人們迫切要求進行體檢。曼德拉被迫穿一隻比他腳小的鞋，不得不在一腳尖上動了手術。這是一個痛苦的諷刺，羅本島現在似乎更能讓曼德拉等人接受。
溫妮所寫的關於她丈夫所在監獄惡劣環境的報道經過某些潤色在國外廣泛發表，因為曼德拉和他的同志們越來越為國際所關注。自從這些人被轉移到波爾斯摩爾，有關監獄狀況的新聞一直被封鎖。1983年7月，海倫·蘇茲曼被允許探視他們。她對《紐約時報》一個記者說，她發現曼德拉結實並且精神很好。她說，當局告訴她，關押曼德拉等人的牢房寬敞，院子有時會被水淹，但不是牢房進水。至於曼德拉受傷的腳，當詢問到這個問題時曼德拉卻感到驚奇。溫妮說：「這就是他的脾性，當他同海倫談到這件事時會故意淡化此事，事實上，當我探視時，他脫了鞋將腳板放在窗前給我看，情況並非那麼好。」——回憶使溫妮笑出聲來：「21年來我頭一次看到他的腳。」
沃爾特·西蘇魯在牢房慶祝他的70壽辰，與此同時，在威特沃特斯蘭德大學大廳擠滿了人，為他的生日舉行集會，人們長時間地給他熱烈鼓掌。
和這5個利沃尼亞案犯關押在一起的帕特里克·馬奎比拉是一個年輕的律師，因參與非洲人國民大會的違法活動被判處20年重刑。以前的「鎮壓共產黨人條例」中所說的「為某非法組織貫徹其目的」的罪行現在被指控為謀反，就可以判處重得多的刑罰。馬奎比拉始終被指控參與辯護律師格里菲斯·姆曾格的活動。姆曾格曾為那些死在關押之中和那些當南非軍隊襲擊非洲人國民大會在莫三比克的住所時被殺害的人出庭辯護。姆曾格在東開普和德班兩地都享有很高的威望，他一直是「爭取釋放曼德拉委員會」的司庫。1981年11月20日，在靠近德班的一個運動場上，人們發現了姆曾格被嚴重殘害的屍體。
姆曾格之死僅僅是那些反對南非當局的活動家慘遭殺害的一個例子。曼德拉對他們的朋友魯思·弗斯特之死深感悲痛，弗斯特於1982年8月在莫三比克大學工作時被信封炸彈所殺害。溫妮寫道：「她是如此窈窕，如此漂亮，如此精力充沛，怎麼能這麼殘酷地扼殺這樣美麗的生命？」
被暗殺的男女中還有喬·格卡比，他是非洲人國民大會駐辛巴威代表，熟識曼德拉和西蘇魯，他也曾在羅本島長期服刑。在南非國防軍從50萬擴充到62.6萬人的同時，南非對所謂非洲人國民大會在鄰國的基地的襲擊也隨之加劇。1981年，馬普托的非洲人國民大會辦公室被襲擊，13名男女被殺害；1年後，馬塞盧 又成為襲擊目標，黎明前幾個小時，人們在酣睡中被慘殺——被殺的42人中有5個婦女和孩子以及12個巴蘇陀人。作為報復，10天之後，民族之矛炸毀了開普敦附近的庫伯格核電廠的一部分，這是繼兩年前襲擊薩索爾煉油廠後最引人注目的一次破壞行動。與此同時，對鐵路線以及諸如黑人鄉鎮委員會辦公室等種族隔離建築物的破壞活動也升級了。
然而，正如奧利弗·坦博告訴英國國際事務評論家安東尼·薩姆普森的那樣，人們不明白為什麼非洲人國民大會會結束它所堅持的襲擊高壓線橋塔的政策——這些目標第二天就會修復，但你如果被抓住，即使僅僅有此意圖而破壞未成，也要被判無期徒刑或絞刑。馬普托的屠殺十分邪惡，而馬塞盧屠殺則更邪惡。在這次襲擊後舉行的白人民意測驗中，居然有68% 的白人對此感到高興。坦博肯定，100% 的黑人為此而悲痛並對非洲人國民大會的政策失去耐心。這就是1983年5月「民族之予」第一次在白人汽車中偷放炸彈的背景，這次襲擊原以比勒陀利亞的空軍總部為目標。坦博說：「當時並沒有想襲擊平民，而是想在大屠殺之後干點什麼。」然而在這次汽車爆炸中，19人被殺，200人受傷，其中包括平民及黑人。
讀到這次死人的消息，曼德拉感到深深的遺憾，正如他後來對某探視者所說的：「這是一個悲劇性的意外事件……我們襲擊的目標是建築物和不動產，也許在戰鬥中或在戰場上都會有人被殺，但我們並不相信暗殺。」
坦博理解曼德拉的上述感慨，因為南非的宣傳機器在大肆渲染平民的傷亡，在掩飾被襲擊的的確一直是軍事目標這一真相。據《紐約時報》報道，城鎮里的人們卻感到，非洲人國民大會至少已經學會了襲擊真正的而非象徵性的目標。
1984年7月，坦博強烈批評那些原想殺死一個武裝護衛隊卻誤殺5個黑人平民者。坦博認為這是「不能容忍的」，因為幹部們事先並沒有採取預防措施。但是，坦博說：「討論的起點不應是這次爆炸，要討論的是迫使人們進行爆炸的東西，包括炸軍事人員。種族隔離制度應對此負責。」在納塔爾，當一個南非軍官死於意外事故時，坦博認為這是「罪有應得」，曼德拉肯定也會贊成這一觀點的。現在，南非保安部隊對游擊隊的政策是射殺而非逮捕。民族之矛戰士被迫開槍自衛，殺死一個陸