在快退伍時候，我不得不留意退伍後何去何從，我本想去母校台中一中謀一教職，但因人際關係不夠，連中學老師都做不成。正在發愁之際，1960年12月11日，我收到蕭啟慶的信，說：「姚老昨和我談挽您出任他助理的事，他要我告訴您，正式的名義是『國家講座研究助理』。每月可支一千元，外無配給，他想借重您，不知您是否願意。」我回信說：「前幾天曾返中謀教席，鎩羽而歸，若走投無路，只好就『助理』之職，此時並非不欲為，蓋我恐辜負老頭兒一片好心，我擔心我的耐心與能力是否可與之共事？是否可有助於他？否則拿乾薪太不好意思。」雖然我有此顧忌，最後還是「欣然同意」了，因為不同意，退伍後就沒飯吃了。
1961年2月6日早上，我結束軍隊生涯，自澎湖搭軍艦回高雄，旋即抵台中。15日北上，暫住溫州街七十三號台大第一宿舍第四室，決心要找一間小房，做為一個人能夠清靜的所在。這麼多年來，我從沒機會一個人有一間房，此番北上，一定要達成這一心愿。兩天後，我租到新生南路三段六十巷一號的陋巷小屋，只四個榻榻米大，矮得雙手不能向上舉，我訂名為「四席小屋」。隔壁住著李善培，我們合買了一台收音機，又弄來唱機，把木板隔間挖一個洞。置收音機與唱機於洞口，兩人誰都可以使用它。「四席小屋」只是陋巷中的一間，陋巷左右門對門共有小屋十多間，活像「軍中樂園」。進入巷口第一間是一個一百零一公斤的胖僑生租的，他房裡有一台小電扇，我最羨慕，因為我買不起。住進「四席小屋」對我是大日子，這天是1961年2月17日。小屋月租二百二十元，是李士振借給我的。第二天，我即有日記如下：
入夜在小屋中邊整理邊讀寫，伏大桌上，點一百支燈。聽外面小雨聲，
想到多年奔波，今夜起聊得小休，興奮得連撒三尿。
「四席小屋」開門就是陋巷，出巷即是台大。台大那時正是春暖花開的季節，我走回來，大有物是人非之感。過去的老朋友，老情人都已高飛遠揚。晚上從姚從吾老師的研究室走出來，整個的文學院大樓一片漆黑，我想到我的身世和抱負，忍不住要嘆一口氣。有時候，陳寶琛那兩句詩就從我嘴邊冒出來，正是：
委蛻大難求凈土，
傷心最是近高樓！
那時助理薪水遲遲沒能發下，我北上時候，媽媽送我二百元、三妹送我一張火車票，此外全靠借錢維生，窘迫不堪。那時施珂在成功中學教語文，他說語文老師們懶得改作文簿，願以一本一元的代價，由外面承包，如願意，他可搭線，我當然願意。在日記里，我有這樣一段：
珂送來作文本，張淑婉先生的一班，五十本，花了一口氣就在一小時內改了二十本，賺了二十元。
作文題目是《我的理想》，一個小混球（初三甲邱廷光）寫道：「有些人的理想很大，但是不能去實行，也就和沒有理想一樣。我的理想並不大，就是能夠把「中國」復興起來。……」我在上面批道：「此理想也不小」善培見而大笑。
有一天，只有一張吃一頓的飯票了，我拿在手裡，送給李善培，我假裝說我吃過了，害得自己餓了一頓。人窮到這種程度，只好趕寫文章發表，靠稿費救急。於是，從三月到四月，我寫出《充員官》、《獨身者的獨白》、《愛情的劊子手》、《中國小姐論》等文章，分別發表在《中華日報》、《聯合報》、《人間世》雜誌等，聊辟財源。那時劉鳳翰在《幼獅學報》發表文章，稿費甚優，他說可以介紹我去投稿，我拒絕了，因為我討厭蔣經國的救國團，當然也討厭它的刊物。
我不但努力寫作，也努力進修，忽然發神經，要把法文、德文同時學出個名堂。乃加入補習班，每周一、三、五學法文，二、四、六學德文。過了一陣子，有人問施珂：「李敖到底是法文好還是德文好？」施珂說：「那要看你是星期幾問他。」最後，哪一種都不好，全都難乎為繼了。
「四席小屋」雖好，但是每晚有老鼠在天花板上賓士，未免美中不足；白天又因地處要津，每天客人不斷，最多時候一天有十四個客人，附近環境又太吵。老太婆、少奶奶、小孩子一大堆。我雖在陋巷，但自己卻先「不堪其擾」起來。熬了四個月，決定下鄉。選來選去，在新店選到了一間小房，背山面水，每月兩百元，於是我裝滿了一卡車的書，在6月15日搬到新家。新家是新店獅頭路十六號，我訂名「碧潭山樓」。所謂山樓，其實很簡陋，不但通過陋巷，且要通過臭菜場與臭河溝，房子只是一間五個榻榻米大的小房，不過是鋼骨水泥的，絕無鼠輩在頭上賓士，可謂一快。還有一個好處，就是有浴缸可和二房東陶蘇保一家分用。我獨自一人倘佯山水之間，或入夜泛舟碧潭，或看廉價電影一場，極得孤寂之樂。我在房門外掛的牌子是：
也許在划船、在看電影或在吃飯，反正沒離開新店。可見我新店山居歲月的一斑。7月5日日記：一個豐富的工作天，寫出信四，卡片寄給胡（胡適），看《武士妖后》釘架子，改了一百本作文，晚接客，景（景新漢）鼓（陳鼓應）吳大中（原註：九年未見了！）少傑（張少傑）四人，十一時始歸我所有，六小時寫五千字。
7月11日寫《生活小偈》：夜涼似水，幾凈燈明，小室獨處，抽煙品茗，一念不起，心定神凝，靜中讀書，浩（改「悠」字亦佳）然忘情。7月12日寫《女壞蛋的第一次試煉》：下午研究所報名畢，將上車，鮑家麟等五個丫頭忽莫名其妙地邀我，說請我吃冰，七嘴八舌，述我的「影子」，諸如平光眼鏡、軍中放言、帽中女人、信罵「莎崗」、遮日記給人看……不可勝數，我縱言反擊之，極得豪邁之樂，我以鳳梨酥、壞蛋論、狗眼看人低等論揄之，了無所忌，又言偷看老姚日記等事，使小鮑家麟以手帕遮小口大笑多次，真是開心。……
7月22日寫《打水仗回來的感想》：今天是周末，我看了一聲《陷阱》，述小男孩戀白朗黛·李。下午大練水泥石礅，昨天做的，工本十九元，一定要練出一個偉大的體魄不可。晚飯番茄四隻。獨自泛舟歸，三漢子三丫頭已在座，又去划船，大打水仗，華俊慘敗，客散伏案，已一時矣。
報載留學生「學成」歸台啦、王其允獻唱拉，以及馬戈之「叛變」啦，華俊之欲飛啦，她們說僑生們之追莫宜春啦。《聯合報》又退我稿子啦……似乎每件事都可以引起我的一點小感想，想到頭來，所感者只是一種，就是不管別人怎樣變化，不管別人怎樣看我，我都不介意、不沮喪，我李敖就是我李敖，我討厭市儈之浮名，我討厭被動，討厭走這些青年男女所走的路，「命運」註定我要走我的路，而山居獨立，正是一個起點，我高興我竟在二十六年的「為外物所牽」的生活以後，竟能開始走上我真正該走的路，我不能不高興，當然在這種高興裡面有著相當比重的孤寂與嘆息，可是這又有什麼關係呢？我是這麼迷信我自己！迷信我自己所走的路！當我看到陳其龍和他的女朋友。看到小丫頭白白的膝蓋，想到鮑家麟那白凈聰明的小樣兒……
也許我也未嘗不稍稍起一點「伎求之心」，但是這些「妄念」很快地就被我那對「重大的決定」的迷信打消了。打消得煙消雲散，我看著善培送我的好煙好茶，想到我已經不再是一個溫情和多情的人，也許我愈來愈變得理智與冰冷，對人淡漠，我沒有辦法不這樣變，只有理智的獨行特立可以拯救我自己，我把我自己跟這些年輕人拉了條鴻溝，這是一條沒有人肯去也沒有人能走得好的路，可是我走了，它給了我永恆安全與成績，這三項安慰是任何慾望太強心兒太浮的人得不到的。
這種感覺以後我也不多寫了，我改用「著手研究毫不相干的一個小專題」來消遣我自己。
7月29日寫《病後小記》：昨晚獨泛看月出，忽得嘔疾，午後新漢得電，驚慌前來，馬戈亦「掩喜」而至。今晚二人皆有約，皆跟小娘子快活去也。準備考試，殊煩厭，此生將不復致力於此，夜來房外又是麻將一桌，陶李（二房東的小男孩）睡去，小得安寧。我無法答覆我的自問，我無法否定女人與人生的意義，理論上我無法自圓，但在實行上，我至少可以「這樣活下去」，雖然沒有女人，可是還可以活得很景氣，技術上既然沒有什麼困難，我反倒喜歡起「董事長」（孟大中）那句話來，「要那麼快樂幹嗎？」這句話真有它的分量，何況為了獲得女人的肉體，不快樂的代價不是記憶猶新嗎？唉，算了，算了，還是一個人過吧。「要那麼快樂幹嗎？」
日來多申厭情（厭惡溫情）之意，是乃大割（收割），悲情者，無動於衷也；無情者，不形於外也；情之為物，與李敖實不相稱，故只好去之；去之唯恐不盡不堅，故厭之。
7月31日寫《人間俗氣一點無》：留學考放榜，引起我許多感觸，我覺得在默察人生上面更向前邁了一步，好像我走的路，愈來愈跟他們隔得遠了。我的思想現在顯然是相當出世的，出世得覺得「許多事是盲動，許多話不值得說」，