順江而下，李白去了當塗，與他在當塗做官的族叔李陽冰住在一起。
當塗有一條伸入長江中的岬角叫牛渚磯（更普遍的名字是「采石磯」），這裡江面變窄，兩岸絕壁亂石，是軍事要地。李白很愛這個地方，來過許多次。在更早遠的時空，他喜歡的謝家人也常來此處。謝朓的曾曾叔祖謝尚鎮守牛渚，在秋夜泛舟賞月，月色明亮，楓葉鮮艷。他聽見江上的小船里，有人在吟詩，是袁宏在吟誦自己寫的《詠史》。謝尚很喜歡，便去結交，而後成就一段相知的佳話。從前許多個在牛渚磯江邊遊盪，胡思亂想的夜裡，李白寫過一首《夜泊牛渚懷古》記下這個典故：
牛渚西江夜，青天無片雲。
登舟望秋月，空憶謝將軍。
余亦能高詠，斯人不可聞。
明朝掛帆席，楓葉落紛紛。
許多年過去，李白又來牛渚。當時人多半認為他神經兮兮，顛三倒四，任性妄為。為了做官，就沒臉沒皮地自我吹捧，干謁求人，當道士，拜道籙，跟皇帝與公主套近乎，最後他孤注一擲地吹捧「反賊」永王李璘。他知道，不在乎，冷冷寫過：「世人見我恆殊調，聞余大言皆冷笑。」他不自我辯白，但暗地裡也會悵惘——怎就沒有一個人能像謝尚理解袁宏一樣理解我呢？
李白的希望與失望火焰一樣此起彼伏，大多數時候，他有意選擇向別人展示高亢明亮，但面對自己的時候，他不得不誠實面對孤獨。他有許多朋友，也有他們永不能觸及的角落。
他隻身面對一輪月亮的時候，是「花間一壺酒，獨酌無相親。舉杯邀明月，對飲成三人」。
他與敬亭山默默對坐的時候，是「眾鳥高飛盡，孤雲獨去閑。相看兩不厭，只有敬亭山」。
對未來的希望是一道閥門，攔住他的失望、寂寞。但是年齡是閥門上的膠皮圈，慢慢地，年輕時熊熊燃燒的熱望漸漸冷卻鬆弛，現在他要面對的不是希望、失望的交替，而是最終的熄滅。
他這具軀體誠實地記錄了在人間行走的磋磨。他生病。躺著躺著，春天到了。出去走走，也寫了一首詩：
淪老卧江海，再歡天地清。
病閑久寂寞，歲物徒芬榮。
借君西池游，聊以散我情。
掃雪松下去，捫蘿石道行。
謝公池塘上，春草颯已生。
花枝拂人來，山鳥向我鳴。
田家有美酒，落日與之傾。
醉罷弄歸月，遙欣稚子迎。
——《游謝氏山亭》
還是他喜愛的謝公山，山南有謝朓故宅，宅後山道，路極險峻。山上有池，是謝朓喜歡的西池，水冷味甘，盛夏來就好了。山頂有亭，名「謝公亭」。他大概緩緩地又遊了一遍：掃雪松下，葛藤爬上石道。花枝拂人，山鳥鳴叫。舊歲還有痕迹，但春氣已經蓬勃。他看見兩百年前謝朓家的池塘上，已經生出青青春草。
既不是李白式的奇崛，也不是李白式的浪漫的寂寞。六十一歲了，他的行動開始遲緩，但是眼睛、耳朵卻因此格外貪婪。等不得，追不上，新的將無可避免地掩埋舊的歲月。這是自然的輪迴，也是人類的規律。在一系列的新舊對比里，他與他崇拜的謝朓也在逐漸接近——當他們都成腐土，都會退隱到時間的幕布後去。那時候，時間的距離將不再被計算，他可以自由地到達他想去的任何時代，任何人的身邊。他崇拜過建功立業的魯仲連、諸葛亮，但最後，他還是最想停留在謝朓曾經居住過的地方。謝朓因為不願參與謀反而被誣告謀反，三十五歲上死在獄中。倚靠著與他一樣的失敗者，李白竟然有一種滑稽的歸宿感。你看，現在李白甚至不再談論他津津樂道的修道大業了。
後世的筆記小說家為他創造過許多明亮任性的故事：
傳說他在長安時參加玄宗的宴會，寫詩之前，先要高力士脫靴，楊貴妃倒酒。
傳說他年輕時游并州，曾經搭救過犯法的郭子儀。李白下獄時，郭子儀正領兵對抗安史叛軍，收復長安，聽到消息願意以官爵贖李白，才由死罪改流放。
《唐摭言》說他死於一場模糊了記憶、詩意與現實的醉酒：那夜他乘船渡牛渚磯，江中明月皎皎，如他童年時最愛的白玉盤。他在夢裡乘舟經過太陽，現在，又為什麼不能去水裡撈月？便興高采烈一躍，沉入水中。
在他們熱愛的眼光里，李白不該受到人間規則的束縛，他是傳說本身。但實際上，他掙扎得用力至怪誕，因為他承受最緊的束縛。寶應元年（762年）十一月，在當塗住了沒多久，李白就死了。沒有傳說里那麼明亮任性，相反，也許只是平淡但必然地，病死了。
後來他一個朋友的兒子范傳正做宣歙（shè）池等州觀察使，專門去當塗一帶訪求李白的後代，想要照顧。只找到他的兩個孫女。兩個女孩都嫁為農婦，衣飾粗糙，面目村俗。她們說，父親伯禽無官而卒，一個哥哥遠遊十二年，不知所蹤。並非不知織布，但沒有田養蠶種桑；並非不能耕地，但沒有田產，只能草草嫁了當地農民，糊口飯吃。李白的孫女們拒絕范傳正要為她們尋個更好人家的許諾，但告訴了范傳正一件事：李白晚年因為心裡喜歡謝公山，一直盤桓於當塗，想要死後葬在這裡，但因為種種原因，現在葬在龍山東麓。這並不是他的本意。
范傳正便為李白改葬，北倚謝公山，南抵驛路三百步。