從長安去哪裡都方便。驛路從帝國的中心輻射出去，東到宋州（今河南商丘市南）、汴州（今河南開封東南），西到岐州（今陝西鳳翔），路邊酒店旅舍林立，有酒有肉，還有驛驢可以租借。或者走水路，洛陽是全國水道的中心，運河的起點。想去南方只需要在洛陽上船，沿通濟渠到汴州，沿汴河一路東下，經過宋州、宿州（今安徽宿州），到泗州臨淮再換船沿淮水到楚州（今江蘇淮安），而後便能順著漕渠到達揚州。路上的治安很不錯，哪怕一個手無寸鐵的普通人也可以放心遨遊，更何況他是袖中藏匕首、腰上掛長劍的「武林高手」李白。
去哪裡都好，獨獨不能回家。
李白離開長安的這年四十好幾了。與他的同齡人一樣，他娶過一個妻子，有兩個兒子、一個女兒。孩子們的母親是故宰相許圉師的孫女，很早便去世了。他帶著孩子們從安陸（今湖北安陸）搬到東魯兗州（今山東濟寧），同居了幾個婦人，都不開心。她們不滿意他喝酒修道，沒有收入考不了功名，整天嫌棄抱怨。魯地儒家文化根深蒂固，在老儒生眼裡他一身頑劣，連頭髮絲兒也透著不可救藥。李白不受閑氣，他嘲笑自己的同居女友是「愚婦」，又寫了一首《嘲魯儒》，為老儒生畫了一張漫畫：老儒生為了書上兩句話的意義，熬了一頭白髮，你要是問他點兒跟國計民生相關的，他就滿頭問號，如墜煙霧。穿著的衣服如同幾百年前的出土文物，動一動就一身塵土。現在的朝廷，根本不喜歡你們這樣的啦！
丟下氣死人的詩，李白學劍漫遊，訪道友，飲美酒。
作為父親，他與兒女們相處的時間不如一同隱居修道的道士，不如「玉碗盛來琥珀光」的蘭陵美酒，更不如漫遊齊魯歷經的山水。他看起來像一個沒心沒肺的單身漢，但他也依然有一個父親的溫柔。天寶元年，李白從山中隱居歸來，皇帝詔他入京的消息適時來到，他揚眉吐氣地寫下《南陵別兒童入京》。但在這首詩里，他也寫見到久違的父親撲上來牽住他衣角的兒女。在他這個家裡，只有他每回歸來都會「嬉笑牽人衣」的一雙兒女值得留戀。兩年過去了，他雖然帶著皇帝賞賜的黃金離開長安，但依然沒有謀到長久的顯赫官爵。李白自然渴望與兒女團聚，但更無法忍受女友與鄰居的嘲笑。
他決定往東去江南，見四百年前的謝安，三百年前的謝靈運，兩百年前的謝朓（tiǎo）。他們生活在已經逝去的時間裡，也生活在他的仰慕里。李白總在詩句里追趕謝朓與謝靈運的腳步。謝朓寫過「朔風吹飛雨，蕭條江上來」，他便要寫「我吟謝朓詩上語，朔風颯颯吹飛雨」；謝朓寫過「餘霞散成綺，澄江靜如練」，他便寫「解道澄江靜如練，令人長憶謝玄暉」。謝朓曾經做過宣城太守，李白把謝朓赴任的路線都摸清了，跟著走了一遍。他後來漫遊江南，甚至把家安在敬亭山下謝朓故居邊，「我家敬亭下，輒繼謝公作。相去數百年，風期宛如昨。」他也登上宣州謝朓樓，唱「棄我去者昨日之日不可留，亂我心者今日之日多煩憂」。
在謝靈運身上，李白找到身世與際遇的共鳴。謝靈運是謝安的重侄孫，家族高門，但他自己卻從小就被寄養，人人都叫他「阿客」，甚至在他無法為自己說一句的時候，他被排除在時代之外的命運便這樣定下了。李白也是這個時代的客人，但他上天入地使盡渾身解數為衝破嚴絲合縫的選官制度罩住他的一張大網，抗議他被排除在時代主流外的命運。他像一頭固執的蠻牛，必須要去撞擊長安城政權中心固若金湯的圈層，但在他心底，總戀戀不忘的是他偶像們生活過的地方，他的精神故鄉。
天寶六載，李白在南京。他終於遠遠逃開家庭的瑣事與世俗的審視。但在精神自由與舐犢之情間，李白並沒有他常常表現出的那樣瀟洒。沒有酣宴與冶遊時，他還是會想念起他的一雙兒女。他想，離家時在屋旁種下的桃樹應該已經長成，恐怕跟屋子一樣高。開花的時節，小兒子伯禽與小女兒平陽也許雙雙在樹下玩耍，小女兒折下桃花想要獻給父親，才想起來，阿爺已經有三年多不曾回家了。他寄給孩子們一首詩：
吳地桑葉綠，吳蠶已三眠。
我家寄東魯，誰種龜陰田？
春事已不及，江行復茫然。
南風吹歸心，飛墮酒樓前。
樓東一株桃，枝葉拂青煙。
此樹我所種，別來向三年。
桃今與樓齊，我行尚未旋。
嬌女字平陽，折花倚桃邊。
折花不見我，淚下如流泉。
小兒名伯禽，與姊亦齊肩。
雙行桃樹下，撫背復誰憐？
念此失次第，肝腸日憂煎。
裂素寫遠意，因之汶陽川。
——《寄東魯二稚子》
而後，藏起對兒女的思念，他返回梁、宋之間，往來南北的繁華埠口，總該有富，有貴，或者有他的機會。
但在李白繼續他迂迴曲折的「重回長安」之旅前，在離開長安的這一年，並不是純然一無所獲。天寶三載（744年），李白收穫了一個新朋友——杜甫。