1964—1970年
在他46歲生日前不久，曼德拉再次被送到羅本島。這個島位於開普敦西北約7英里處，是一塊小小的裸露著岩層的土地，岩石嶙峋，疾風勁吹，周圍海面波濤洶湧。和曼德拉一起來的，還有西蘇魯和利沃尼亞審判案的其他難友。在羅本島，他的朋友照他的部落名字叫他馬迪巴。
隆冬，島上陰濕寒冷，在濃霧瀰漫的天氣里，從燈塔傳出的霧角聲凄慘地回蕩著。看守們——其中一人手背上刺著字花紋——罵罵咧咧地指揮新到犯人的每一個動作。開始時他們和其他「政治犯」關押在舊監獄，洗澡時要脫光衣服跑到大約有200碼遠的津克監獄的盥洗室。他們在牽著阿爾薩斯狗的人員監視下進行勞作，建設一個新的有88間牢房、有最大程度安全措施的「隔離」區。這些牢房他們會首先住進去，這從刻到水泥板上的他們的姓名可以證明。一堵30英尺高的牆將他們和其他牢房隔開。這些單獨囚禁著的政治犯占著一個中央大院的一邊；另一邊是被判處無期徒刑的刑事犯。
曼德拉的牢房很典型，約7英尺見方，一個40瓦的燈泡照明，地板上扔著一個墊子和兩條毯子。獄中的短褲和黃卡嘰布襯衣、薄薄的線衣和茄克很難抵禦夜晚的寒冷。太陽出來之前他們就被叫醒用涼水洗臉、刮臉、清理便桶。他和難友們——大約有30人——輪流分發早餐：每人都有粥，但是印度人和有色人還能有一匙糖和一份麵包，非洲人則只有給半匙糖，沒有麵包。玉米、無味的湯和清咖啡是另外兩餐的主要食物，有時給添小塊的肉或一些蔬菜。
每天從早到晚都能聽到看守們高聲喊叫的聲音，命令他們待在自己的牢房裡，命令他們不要出聲，他們處於隔離「狀態」。
於是鬥爭開始了，最初要求基本權利：到牢房外面去鍛煉身體，做有效的工作，允許相互交談，增發毯子，發給長褲，改善和增加伙食。每星期六早晨發牢騷時間顯然被獄方官員視為開玩笑，但曼德拉要求他們認真聽取意見。他堅定、冷靜而有禮貌，不是把他們看成敵人，而是把他們看作應該做好他們的工作和執行監獄規定的人來對待。
幾個星期後得到第一次勝利，儘管很有限：讓他們出去坐到院子里，用鎚子把岩石砸成小塊。如果談話時被抓住，就罰3頓不許吃飯；第二次觸犯就意味著6頓吃不上飯。但是在叮叮口當口當的敲擊聲中，他們無法傳遞信息，甚至玩文字遊戲。
丹尼斯·布魯特斯是個學校校長、詩人和體育抵制行動的組織者，因違反禁令，也在服短期徒刑。他還記得一種遊戲：每天有一個犯人提出問題，在小組裡互傳，這常常是一人在牢房時苦思冥想的結果。曼德拉問過「費邊」的來源是什麼，「費邊」就是G·B·肖伯納和H·G·韋爾斯均為其成員的英國社會主義團體的名字。布魯特斯回答說：來源於羅馬大將費邊·馬克西姆斯，他的戰術逐漸讓漢尼拔的軍隊精疲力竭；因此象徵性地用這個名字指逐漸引進和傳播社會主義。
在院里勞動的最初幾個月里，一名報社攝影記者得到允許為在砸石頭的人拍照，並在休息時拍了一張曼德拉和西蘇魯在一起的照片：這是整個漫長的監獄生活中他們拍攝的僅有照片。
因利沃尼亞一案人員被監禁以及後來的民族之矛和非洲人國民大會領導人和組織者遭到逮捕，流亡國外的非洲人國民大會承認「敵人沉重地打擊了運動的『核心』」；這是「一次非常嚴重的挫折」。通過90天肉體和心理的折磨以及僱傭告密者的工作，非洲人國民大會、泛非主義者大會以及其他激進組織的成員從大陸接連不斷地來到羅本島。白人政治犯關押在比勒陀利亞；黑人婦女通常關押在克龍斯塔德。而羅本島只關押黑人男子，其中有教師、農民、醫生、勞工、會計、工人和工會會員。他們年齡從15歲到70歲不等，在這個小島上空前地團結一致，雖然關押在特別區的領導人和其他區域隔絕。在這些區域里約有1000多名政治犯和大約300個刑事犯，每個牢房關60人。不久，納米比亞人來了——西南非洲人民組織的領導人——被關進津克監獄。羅伯特·索布克韋被監禁在白人看守住處附近的一座房子里，由衛兵看管。
在仲夏，曼德拉和隔離區的同志們出去到石灰礦勞動，他們每兩人一對，腳踝鎖在一起，每天蹣跚地走到島的中部。當另一隊作業小隊走近時，後者被命令停止前行，背過身子，等著這些人走過去。不許交談，不許交換眼色互相鼓勵。可是當局不能阻止他們觀賞島上開滿黃花的灌木和桉樹，偶然會有一隻小鹿或一隻鴕鳥。而在東南遠方，隔著波光閃爍的海面，是桌山上的一片朦朧景色，隱約閃現在開普敦的上空。
在採石場，腳鐐被打開，犯人們用尖鎬和鐵鍬先挖出石灰石，然後將石灰石板裝上卡車。在炎炎烈日之下，他們被趕進的大坑好象一個火爐，石灰反射著刺眼的陽光，他們從下到上都被炙烤著，而看守們卻逼迫他們加緊干，喊著，「幹活，嗨，幹活！」他們一小時一小時地挖掘、裝車，四肢和腰背酸痛，腳踝和手都磨起了泡，眼睛裡是沙子，疼痛難忍。到下午他們一瘸一拐地回去，渾身都是石灰末。他們直接去沖澡，然後筋疲力盡地倒在牢房的墊子上。每晚看守一下班，透過牢房的牆壁傳出犯人們一起祈禱，一起唱自由歌曲的聲音。
這種生活日復一日地進行著，直到在發牢騷時間曼德拉提出抗議。腳鐐去掉了，但他們希望做有益的工作未得到同意，他們繼續在那個歷代犯人挖的大坑裡勞動。羅本島最早居住著海豹(荷蘭語叫做羅貝)以及企鵝和蛇，直到荷蘭東印度公司最早一批在好望角建立基地的歐洲人認識到它適合作監獄：大海不僅使犯人難以逃走，而且可以阻止不受歡迎的訪問者。羅本島成為黑人反抗帝國主義歷史的一部分。1658年，一個科伊族反抗者奧特舒馬約——荷蘭人稱他赫里——第一個被流放到這裡。他也是少數幾個逃走的人之一。荷蘭人還把爪哇和摩鹿加群島的造反的酋長、王公和君主流放到這裡。在19世紀英國佔領好望角，將曼德拉從孩童時代就一直崇敬的那些英雄中的某些人物放逐到羅本島。馬卡納在1819年，馬科馬在19世紀50年代都被關到該島，他們是被殖民者的優勢兵力所擊敗的阿馬科薩人偉大勇武的酋長們。馬卡納逃出去時被淹死了，一些犯人稱這個島為馬卡納島。英國也將各種族的慢性病人、精神病人和窮漢送到島上，其中有麻風病人。很多人死在那裡，他們的遺骨與那些被判無期徒刑的黑人囚犯和放逐者的骨頭混在一起。1959年，南非司法部長沃斯特宣布，羅本島是一個用於「非白人犯人」的有最大程度安全措施的監獄。由於不允許任何船隻駛進1英里以內，而且海面上沖盪著湍急的海流，據說該島固若金湯。
政治犯屬於D類：准許每6個月寫一封500字的信，可以有一次探監，但只許談家庭瑣事。溫妮形容她「失去形象高大的人」，最初幾個月是「痛苦欲絕」。當她「摸索著前進，想法適應」時，反覆讀著他的第一封信。
當第一次探監日期到來時，她和阿伯蒂娜·西蘇魯和盧圖利的女兒阿伯蒂娜·恩加卡納(她的丈夫正在短期服刑)一起出發。她們行程近千英里來到開普敦。到達碼頭時，她們要在犯人探監登記簿上簽名，同意遵守以下規定：不許帶相機、不許帶貓、不許帶狗、不許帶16歲以下兒童。坐渡船過海需要45分鐘，最後她們到了羅本島。獄吏把她們從碼頭押送到探視室，一路上別無所見，一邊是高牆把監獄遮掩起來，另一邊是海。溫妮第一次聽到在未來歲月中她每次探監時都聽到的警告。一個高級軍官告訴她，她不能講科薩語，除自己的孩子和「直系親屬」以外，也不準說任何人的任何事。如果她違反這個規定，就要停止探監。
與此同時，曼德拉和其他允許探望的人也得到同樣的警告，還命令他們不許談監獄的情況。
丈夫和妻子終於又聚在一起，每人有二三名看守陪著，彼此只能透過小窗模糊地互相注視；通過看守控制的電話聽對方講話。以這種不自然的方式，他們盡情分享著彼此的生活。那時澤妮6歲，津姬4歲半，他們談論女兒的發展和需要。津姬剛剛去幼兒園，但她不願待在那裡，她要象姐姐一樣去上「正式」學校，曼德拉同意了溫妮的意見，說她可以這樣做。看守喊了一聲「時間到了！」半小時的會見便突然結束了。
這幾名婦女在出口處徘徊，以便瞥一眼自己的親人被押回牢房。阿伯蒂娜·西蘇魯不禁驚叫「哎呀，我們親人變得越來越小啦！」又說，「但是他們的神情是多麼堅強。」隨後這幾名婦女被押走，回到渡口，回到大陸，然後再長途旅行回家。在那些少有的探視中，溫妮還能見到曼德拉的長子滕比，他住在開普敦，偶爾獲准探望父親。
在奧蘭多家裡，溫妮告訴孩子們關於她們父親的情況。澤妮所能記得最後見到父親的場合，是人群和司法大廈外面的小汽車。隨著日益嚴格的禁令限制，她們的母親不能陪她們上學。溫妮描