作家司馬遼太郎於一九二三年八月出生在大阪市浪速區西神田町。父名福田是定，他本名福田定一。
祖父經營糕餅業，乃父是一名開業藥劑師。
出生不久後，因健康欠佳，寄養在外祖父家附近的奈良縣北葛城郡。後年，司馬遼太郎自己常提起，在內心深處的故鄉是奈良，而不是大阪。在古都的生活體驗，對後來大量撰寫歷史小說似乎也有關連。
七歲（一九三零年）進入大阪難波鹽草小學校就讀。小學生時代似乎乏善可陳，往往與玩伴到處鬧事。六年之中曾得過「學業優秀」獎狀，卻從未獲得「操行優良」的獎勵。
十三歲（一九三六年）進入私立上宮中學。前兩年過著平淡生活，第三年開始，每天放學後順道至市立圖書館看書，到晚上八、九點才返家。看書習慣持續到大學畢業為止。在這裡，看遍館內圖書，最後連釣魚書也認真閱讀。
十八歲（一九四一年）進入大阪外國語學校就讀。作家陳舜臣早一年進入該校。此後，兩人交往長達半個世紀之久。
由於家庭經濟條件的限制，無法投考東京的大學（後年他曾回憶起當初希望念早稻田大學中文系）；不得不念完在家鄉的大阪外國語學校蒙古語文學系。雖然對蒙文毫無興趣，然而在學中逐漸對俄國文學、《史記》中的列傳發生興味，並且對中國之塞外民族逐漸發生關心。
二十歲（一九四三年），戰事擴大，取消學生緩召措施，被編入兵庫縣「戰車第十九連隊」。次年，調至「滿州」（中國之東北）陸軍戰車學校受訓。八個月結訓，被派至牡丹江「戰車第一連隊」。
二十二歲（一九四五年）由「滿州」經韓國撤退回日本國內，隨著戰爭結束（八月十五日）而退伍。戰爭體驗使他認真思考「愛國」的本質、生死問題；並對日本現代化中的技術水準表示懷疑。
二十三歲（一九四六年）進入「新日本新聞社」擔任記者，負責採訪大學訊息及宗教界新聞。
二十五歲（一九四八年），「新日本新聞社」結束經營；改入「產經新聞社」京都分社。
從此，一直到三十八歲（一九六一年）辭職為止，十三年間，他從記者做起，後來被升為「文化部」經理、「出版局」副理。
進入報社之初，他計畫做到三十歲，然後辭職寫小說。但事與願違，想執筆寫作文學作品並不容易（雖然是以「寫」為職業）。一九五五（三十二歲）那年，一位接受採訪過的凈土宗人士寺內大吉極力慫恿他動筆寫小說，這竟是使他變成職業作家的契機。
一九五六年（三十三歲），處女作《波斯的幻術師》獲「講談俱樂部獎」。這也是他使用筆名「司馬遼太郎」之始。依他自己解釋，「遼」是「遼不可及」，「司馬」是《史記》作者司馬遷。也就是「自己遠不及司馬遷」。
一九六零年（三十七歲），以日本「忍者」為背景的歷史小說《梟之城》獲「（第四十二屆）直木獎」。
在日本，「直木獎」、「芥川獎」形同小說作家的「證書」。他的獲獎年齡，在諸多作家之中，算是稍早的；這也意味著可以及早進入職業寫作的世界。
一直到七十三歲（一九九六年）去世為止，司馬遼太郎留下了龐大的寫作成果，也獲得極高評價。一九九三年，他榮獲日本文化界最高榮譽的「文化勳章」。一九九四年出版的《台灣紀行》在台灣亦曾引起一陣子討論。