從三十一歲到三十五歲四年間，也就是1966到1970年前後四年間，我把它歸納為「星沉」時期。在這段日子裡，《文星》雜誌、文星書店相繼沉下去了，我自己——這顆擬人化的文星——也沉下去了。不過，到了1970年，「星沉」的情況更惡化了，那就是我開始被國民黨當局軟禁時期，前後長達十四個月之久，直到我被捕為止。
局面所以惡化到這一地步，基因除了我過去有多彩多姿的反當局「黑底」外，與彭明敏的關係，構成了黑上加黑，以致沉上加沉，最後終於沉到牢里去了。
彭明敏在台大早我十年，我在台大法學院的時候，他沒教過我，但是教過我的許多老同學。我的《傳統下的獨白》出版後，送了一冊給他，他回信給我，說：「我一向愛讀您的文章，且對您的許多見解，都很同感，希望將來有機會認識您。」這封信寫後二十七天，1963年12月10日，他透過郭鑫生相約，在台北致美樓請我吃飯，那是我們第一次正式見面。此人博學有禮、叔度汪汪，給我極深刻的印象。從此與他在師友之間，見乎交情。那時我正主持《文星》，在吃飯前十天，我在《文星》發表了他的大作——《泛非思想的感情因素》，在「編輯室報告」中，特別點出「讀了這篇文章，使我們可從這段思潮的激蕩中，得到觸類旁通的領悟」。在這微妙領悟後十個月，「彭案」發生了，十三個月後，他歷劫歸來，門前冷落、特務環伺，備感人情冷暖，親友都不敢同他往還，他的朋友只剩下「極少數極少數例外」，我是例外之一，並且不愧是例外中的例外。因為我也備受迫害。與他處境堪似，於是相儒以沫，日久更見人心。
那時蔣介石下密諭，將我和陸嘯釗趕出《文星》。我去做生意，需要在銀行開甲種戶，領取支票。曾請蕭孟能幫忙，蕭孟能推託不肯，彭明敏知道了，慨然相助，寫信給陸嘯釗，叫他陪我到彰化銀行永樂分行去開戶，原來彭明敏請他哥哥彭明輝為我暗中介紹，才得過關。那時我困於生計，賣書為活，彭明敏也為我寫信向洋人兜售。此類義助，不勝枚舉。總之，從他出獄，到他偷渡離台，四年之內，我和他在黃昏、在子夜、在靈犀相通之際、在杯酒談藪之間，共度過數不清的悲歡歲月。這種患難之情，於彭明敏則屬唯一，於我則屬僅見，於今回味起來，恍然如昨。
那時彭明敏生計日窘，本來他在中山北路巷內有一小塊地，原擬興建起來，與我合開一小餐廳，後來未成事實。他日夕被調查局派人跟蹤，有時至感氣憤，乃親自照相取證，相機都被搶走。我得知後，乃和黃勝常（黃三）用長鏡頭代為拍得，使彭明敏大為高興。
彭明敏精通四國語文，除在太空法中為國際翹楚外，其他涉獵也極淵博。他的生活品味極為高雅，有一次把親植的非洲紫羅蘭送我，又送我的女朋友小蕾一條他自養的小狗，命名嘟嘟。1970年1月15日，嘟嘟不幸中毒而死，我正事忙，托魏廷朝去看彭明敏，帶去一些啤酒和雜誌，順便問問還有沒有嘟嘟血親可以代討。不料廷朝回報，說只有彭師母在家。十一天後，魏廷朝匆至，說外電傳來，彭明敏已抵瑞典矣！
彭明敏偷渡後，我立刻被軟禁經年，以至下獄。軍法判決的罪狀，是「明知彭明敏有叛亂前科，其叛亂之念未泯，仍秘密與之交往」，並助其偷渡。從此牢門一入，深如海矣！在我與彭明敏四年間的患難之交里，由於我不是他的學生，他「在靈犀相通之際、在杯酒淡藪之間」，透露了不少心事給我，而為其他人或他的學生所不知。例如我對他以向蔣介石「悔過」換取出獄的行為，曾表示不解。他最後道出了真相，他說：「本來我是不肯悔什麼過，準備坐牢的。可是我一想到女人那一對奶，我就只好投降了。」還有一次他向我說，他羨慕《My Secret Life》一書的作者，因為該作者一生搞過許多女人。像這些話都由他在靈犀杯酒之間透露給我，可見兩人交往之近。這段交往，彭明敏後來寫《彭明敏回憶錄〈自由的滋味〉李敖定本序》有相對的回憶。
我坐牢十三個月而被押回家看管之後，狀況並不好轉。「親友」們恐慌未息，不但不敢接觸，有的還要「落井下石」。狹路相遇，有的裝得看不見，有的乾脆落荒而逃（猜想其回家後，必求神拜佛保庇其不會因遇見我而被牽連）。
最難能可貴的，仍然有些例外的朋友。
李敖就是這種極少數極少數例外朋友之一。
李敖與《台灣自救運動宣言》無關。可是，謝聰敏。魏廷朝和我被捕後，警總人員覺得該「宣言」文章寫得太好（這應歸功於謝聰敏和魏廷朝），不可能出於台灣人之手。他們猜來猜去竟然想到李敖，一口咬定是李敖代筆的。審問期間，他們對此一再追問不舍，使得我哭笑不得。李敖也因此更成為特務人員懷疑和注意的對象。這是李敖與《台灣自救運動宣言》唯一的「牽連」。
我認識李敖早於《台灣自救運動宣言》案的發生，也曾到過他家。在那裡印象最深的，除了藏書豐富之外，就是他親手把全家清理得乾乾淨淨，一塵不染，包括浴室廁所。他沒有中國傳統「文人」的骯髒陋習。
我案發後，李敖不但不畏怯，反而倍加親切，我知道他不贊同「台灣獨立」，也不支持「台人自決」。他所以反對國民黨，不是出於狹窄的政治利益，而是發自歷史和文化的深厚哲學，也是出於對民主自由的信念和人權人道的大精神。他的思索是廣泛、深刻、清晰、嚴密而良知的。
我被看管期間，李敖約我每月密會一次。每次他都要請我到高級餐館，享受豐餐，大概是要鼓舞我土氣，補給我營養。他又怕我監禁生活太乾枯無聊，每次都會帶來當時受禁的《花花公子》雜誌最新一期，借給我看（他言明那是「借」的，不是「送」的，所以每本都須於下次會面時歸還他，我乃照辦不誤）。有一晚上，調查局局長沈之岳請我們兩人吃飯，事前事後，我倆都覺得極好玩，嘻嘻笑笑，好像兩個調皮頑童似的。
1969年起，我開始準備脫出台灣，須與海外各方聯絡。所有通信都須請人帶出海外投郵，來信也不能郵寄，只能從海外由人帶進台灣。為此，需要一些可靠朋友，由他們再轉託其可靠友人，帶出帶進。李敖便是這少數可靠朋友之一。他曾為我轉出一些重要信件，但他恐不知道我頻頻與海外聯絡，目的是什麼。沒有想到這竟成為他入獄重大罪名之一，我衷心歉疚，難以表達。
我脫出台灣準備就緒，深知成功則生，失敗則死。1969年末，我看見他時，知道這是我們最後一次晤面，但不敢告訴他我的計畫（這與我未透露給家人一般，是要讓他們免陷於「知情不報」的重罪）。我還是照例約定下次密會的時地，雖然心裡清楚，不論生或死，我會爽約，他不會再看到我的。臨走時，我心裡暗然向他道謝、道別、道歉了。我受難期間，他對我那份厚情和義俠，永銘於心，至今仍時時回念感謝。
我到達瑞典以後，有一段時期仍與他保持聯絡。但所談大都是輕鬆私事，不涉及國家大事。
我在獄中，曾寫了一篇《全體主義的迷惘》，出獄時偷偷帶出，將原稿寄給李敖，請他評論。他立刻寫了兩篇意見，我非常珍重。我於1970年初脫出台灣時，不帶行李，身上能帶出的，極其有限，而李敖那兩篇評論則是我冒險帶出的極少極少東西之一，至今仍保存在美國。
我脫出台灣後，李敖即受嚴密監視。他家曾被偷置錄音器。他發現之後，將其拍照，也把特務人員監視他家的情形拍照下來，連同偷聽器零件，全部寄來給我。這些相片和零件，與我一起輾轉流浪多處多時，還在美國。
彭明敏這些回憶，有一些可以補充的。先是國民黨當局一得知彭明敏偷渡到瑞典，立刻把我軟禁，不分日夜，由專車一輛、專人若干，對我緊迫盯了起來。這一緊迫盯人，先由警察單位派人，後來警總單位接力，前後「跟監」（跟蹤監視）。在我被軟禁的這十四個月里，所謂專車一輛，一開始是『華寶」字型大小的計程車，後來是「興業」字型大小的計程車，最後是「永炯」字型大小的計程車，事實上，都是警總保安處的工作車化裝的。當時保安處處長是吳彰炯少將，計程車字型大小是「永炯」，顯然有「永遠是吳彰炯」之意。在專車一輛之外，一般是三人一組，每天三組，每組八小時，對我二十四小時全天候緊迫盯人。那時我住的是四樓公寓的頂層，他們在樓下對面農家平房裡租了兩間，車就停在門口，和我的自用車（凱莉車以後與計程車同一品級的車，是我用過的第二輛汽車）遙遙相對。每次我出門的時候，他們就跟蹤，李敖步亦步、李敖趨亦趨。過去彭明敏被跟蹤的時候，曾向我埋怨說被跟多麼討厭，我勸他說你何必介意呢？只把他們當做「狗」來跟你就算了。彭明敏說李敖你沒被跟，你不知道這滋味，等你被跟，你就知道不是那麼簡單了。後來我被跟了，我倒覺得滿好玩。和我同時被跟的，有謝聰敏與魏廷朝，他們兩位經常跟「這些狗」衝突。謝聰敏說他被跟久了，自己都有點神