如前所述，那時我們夫婦在西幸大郎家裡地以安頓。
據說那座私宅本是從「山下輪船公司」社長山下太朗先生手裡買過來的，庭院十分寬敞，院內錯落著西幸氏一家起居的正房和幾間配房。我們一家借往了一棟配房。當時畫家和田三造造先生也在正房的一間借宿。
那間容我們暫且安身的配房，除去廚房、衛生間外，鋪六疊榻榻米和四疊半的居室各一間，我和妻子、岳母以及妹妹一家四口在這狹小的住房裡聊以卒歲。由於當時正處於戰後「住房難」的時期，我們又窮困潦倒，身上幾乎不名分文，能住上這樣的房子，已經是已經是幸運至極了，傢具全是借來的的，只有一個梳妝臺，是我咬咬牙給妻子買下來的。那時的價錢是一千日元，相當於我們全部家當的三分之一。那面鏡子根本不是經久耐用的東西，如今已發污，但妻子覺得這是我們置辦的第一件傢具，很有紀念意義，無論如何也捨不得得丟掉，至今仍然保存著。
那個時期，我雖然兩袖清風，但精神爽快，逍遙自在。房東西幸先生是位實業家，他一方面在築豐經營煤礦，同時把持著八艘漁船，在霞浦還有幾棟倉庫，此外還經營著一個五千坪大小的養雞場。但西幸先生並沒有整天為了實業而疲於奔命。每天晚飯後，他總是帶著一個女人到我住的配房來玩。西幸先生一到，就要開局玩麻將。牌友一般是西幸先生和帶來的女人，加上我和多賀谷先生共四人。妻子偶然也玩玩。雖說我們玩的是分文不賭的家庭娛樂式的麻將，並沒多大意思，但西幸先生卻玩得津津有味，每天來打牌時，他那興致勃勃的樣子真有點兒不可思議。這對於西幸氏的老婆來說，卻是件感謝不盡的好事。因為，每天晚上打麻將，使丈夫按時歸家，不再去外面夜遊鬼混了。
我們有時還在西幸先生家裡舉行小型棋會。西幸先生棋術不高，我須讓九子。當時有許多業餘棋手也經常來玩。如戰前曾任大藏大臣、被政界公認為有出色棋力的青木一男先生，剛從巢鴨拘留所釋放出來，就常來這裡露面。青木先生和我下棋須讓他三子。那是他重返政界之前，有足夠的閑暇，因而一局有時要下五、六個小時。記得我客居杉田期間大約和他對局十次左右。
後來，撤退到臺灣的國民黨政府與日本建立了「外交關係」，我當時處於無國籍狀態，只得立即去橫濱領事館申請旅日華人護照，昭和二十四年（一九四九）我作為「國民政府之下」的中國人而恢復了國籍。
「脫離日本棋院」的真相
來日之後，我一直是作為日本棋院的棋士而活躍多年。沒想到戰後我卻變成了脫離棋院、隸屬讀賣新聞社的一張王牌，長期過著「無所屬」的棋士生活。即使是現在查找日本棋院所屬棋士的名簿，其中也沒有我的名字，我不過是作為「名譽客員」而名標榜尾而已。
對於此事我既不理解，也難以接受！首先，我個人從未考慮過脫離棋院，當然更沒有這方面的任何表示，只因我不諳世故，以致戰後近二十年之久竟然從未發覺自己已是被日本棋院「除籍」了的棋士。
戰後的長時間內，我由於身體欠佳，除了讀賣新聞社主辦的十番棋對局以外，並不怎麼參加棋賽有關對局事情的交涉，全都託付於多賀谷先生。因此，對與棋院的關係也就沒有更多地考慮，當我知道已被日本棋院「除籍」時，已是讀賣新聞社舉辦第四期名人戰之後了，即昭和四十年（一九六五）秋天。到了昭和四十一年（一九六六）我才如夢初醒，了解到為何被驅出日本棋院大門的。
儘管我生來不諳世故，諸事全不在意，但聽說被「除籍」時，卻是受到了極大的打擊：「為何非要將我除籍？」我忿怒地向棋院涉外理事提出了質問。誰知回答卻是：「戰後作為日本棋院所屬的棋士，首先應當履行對局的義務。而你沒有盡到這個義務。」憑良心講，我連日本棋院所屬棋士的義務是什麼都不知道，因而被人如此奉告之後，也就糊裡糊塗地自認倒霉。但我仍認為「除籍」也應通知本人才合乎情理。由於此事實在蹊蹺，我便又拜託了木谷實先生，請他幫忙調查我何時，為何被「除籍」。
結果，發現了一件令人吃驚的事件：昭和二十二年（一九四七）八月，我的師傅瀨越先生向日本棋院提交了一份我的「辭呈」。查日本棋院理事會的紀錄，於昭和二十二年月十二日的理事會上，有一段「吳清源一事」的議題，並且還有「十四日瀨越先生交來辭呈」的紀錄。我急於澄清事實真相，與木谷實一起拜訪了瀨越先生。
然而先生也心情抑鬱，只答道：「因有各種壓力，實在是出於無奈。第二年，我也被迫辭去了理事長之職。」說完便緘默不語了。看來先生不願過多地觸動往日的傷口。提起昭和二十二年，正是我竭誠效力於璽宇，同時與橋本宇太郎進行十番棋對局的時期。那時我對於社會動態幾乎一無所知。正值戰敗後的極度混亂年代，無論發生什麼事，都不會感到新鮮。更何況在我這樣的「國際遊民」的身上，因「國籍問題」，接二連三地發生了常人意想不到的各種事件，這也許是命運在作怪吧！
那時日本棋院在戰火中焚毀，不得不將位於世田谷的岩本本因坊的家當作棋院本部，少數棋士也曾為重建日本棋院而奔忙過。當時是誰、為何目的向瀨越先生施加壓力，迫使他寫下我的辭呈的？一時眾說紛壇，臆測四起。難道是中國為將我強行遣返而施用的手段？或因我身為外國人，卻熱衷於日本怪誕的宗教？也可能我被視為「異端分子」，只有給以驅逐才可完成戰敗後「日本國粹精神」的大業？
瀨越先生已經逝世，當年的理事中只有岩本先生一人健在。今日覓舊，滄海一粟，真相恐怕早已匿入謎宮了。現在，知道我的辭呈事件的棋士寥若晨星，連我自己也無心再去探求事件的內幕了。
當時我是在一無所知的情況下、以極大的毅力堅持打完了戰後連續多次的「十番棋」。假如當時我知道了被日本棋院除籍的事情，只要不給我解決歸屬問題，我連一盤棋也不會打下去的！
晉升九段
昭和二十四年六月，根據棋士升段大賽的成績，由八段晉升為九段的只有藤澤庫之助一人。翻開戰前的棋史，晉升為九段的只有「名人」，因此，九段簡直就是與「名人」相提並論的段位了。當今的九段己有六十多人，其身價也遠不如以前。當年的九段，其地位是高不可攀的。據說，藤澤的住宅戰後未遭焚毀，生活也很寬裕，可以專心致力於棋道。當時只有少數人才享有這種優越的條件，他就是其中之一。
藤澤一升為九段，在當時可謂「當代第一人」。但我於戰前就曾在十番棋的擂臺上，將這位「當代第一人」擊敗過，怎能把吳清源永遠地擱置於八段位上而不顧呢？
後來決定舉行「吳清源對六、七段選撥十番棋」，即集中十名年輕的高段棋手，讓他們輪番向我挑戰的對局。實際上，打算通過這次的十番棋作為我的「九段升段試驗賽」。交手棋份規定：四名六段棋手均為定先，六名七段棋手採用先相先，七段中先相先的執白棋由六名棋士抽簽決定，結果高川和前田兩位七段中簽執白。從我這一方來看，除了對高川與前田二人執黑棋外，其餘的八局均執白棋。當然，當時還沒有貼目的規定。
當讀賣新聞社將此次十番棋的計劃向我提出時，我曾回答他們說：『只聽說上手對下手進行考核，從沒聽說過下手考核上手的事！』對此我毫無興趣，根本不想參戰。無奈讀賣新聞的「責任記者」對我苦心相勸，說我若不能成為九段，就無法制定與藤澤九段爭奪名人位十番棋的計劃。弄得我只得應諾下來。
這次十番棋中，出場的棋士們高舉「打倒吳清源」的大旗，咄咄逼人地向我走來，其實，對這些「後起之秀」我根本就不放在眼裡。結果我以八勝一敗一平的成績將這些小字輩都趕下了擂臺。唯一的敗局是在對窪內六段時失手；平局是對炭野六段，這二人都是關西棋院的棋士，事情雖屬巧合，但結果卻令人驚奇，十局打完後，前田陳爾七段問我：「關西的窪內真那麼厲害嗎？」對此我真不知如何回答是好。
對六、七段選撥十番棋成績：
第一局長谷川章七段，（昭和二十四年七月，東京「紅葉旅館」）執白，五目勝。
第二局木（尾）原武雄六段，（同年八月，箱根「環翠樓」）執白，中盤勝。
第三局窪內秀知六段，（同年八月，箱根「石葉亭」）執白，四目敗。
第四局高川秀格七段，（同年九月，群馬「本家旅館」）執黑，中盤勝。
第五局細川千仞七段，（同年十月，和歌山「萬波樓」）執白，二目勝。
第六局宮下秀洋六段，（同年十一月，修善寺，「丸九旅館」）執白，中盤勝。
第七局林有太郎七段，（同年十二月，千葉縣茂木房五郎邸）執白，一目勝。
第八局前田陳爾七段，（同年十二月，伊豆長罔「南山莊」）執黑，中盤勝。
第九局炭野武司六段，（昭和二十五年一月，伊東「蟹屋聚樂」）執白，平局。
第十局坂田榮男