與盜掘說並行的還有另一種說法，即毀陵說。
最早記錄毀陵說的是《漢書·劉向傳》，這條文獻我們前文已經引述：
項籍燔其宮室營宇，往者咸見發掘。其後牧兒亡羊，羊入其鑿，牧者持火照求羊，失火燒其臧槨。自古至今，葬未有盛如始皇者也。數年之間，外被項籍之災，內離牧豎之禍，豈不哀哉！
這條文獻揭示了一場有關秦始皇陵的毀陵事件。
劉向說，項羽燒了秦始皇皇陵的「宮室營宇」，去看秦始皇陵的人都看見了秦始皇陵被盜的現場。後來又有放羊娃的羊走丟了，掉進了秦始皇陵，放羊娃為了尋找丟失的羊誤入陵墓，點火照明，意外失火，燒了地宮中的棺槨。
北魏地理學家酈道元的《水經注·渭水》在我們前文所引的「項羽入關，發之（指始皇陵），以三十萬人三十日運物不能窮」之後，還有下面一段記載：「牧人尋羊燒之，火延九十日不能滅。」酈道元說，項羽盜掘始皇陵墓之後，放羊娃為了找羊，又因點火取光而誤燒了始皇陵的地宮。
《藝文類聚》卷八十「火」部引《三輔黃圖》曰：「秦始皇帝，葬驪山，六年之間，為項王所發。牧兒墮羊冢中，燃火求羊，燒其槨藏。」
《太平御覽》卷八七一「火」部（四）引《三秦記》曰：「秦始皇葬驪山，牧羊童失火，燒之，三月煙不絕。」
李白《登高丘而望遠海》詩：「君不見驪山、茂陵盡灰滅，牧羊之子來攀登。盜賊劫寶玉，精靈竟何能。」
張九齡《和黃門盧監望秦始皇陵》詩：「國為項籍屠，君同華元戮。始掘既由楚，終焚乃因牧。」
杜牧《過驪山作》詩：「黔首不愚爾益愚，千里函關囚獨夫。牧童火入九泉底，燒作灰時猶未枯。」
儘管放羊娃誤燒秦陵之說流傳極廣，但是，此說疑竇叢生。
如果放羊娃可以掉入地宮，那麼肯定有一條通往地宮的通道。如果有這麼一條通道，只有兩種可能：一是自然塌陷形成，二是盜掘後留下的盜洞。
秦始皇陵前後經過近三十九年的持續修建，非常堅固，不可能自然塌陷形成通道。另外，一座修建了幾十年而且深埋於地下的地宮，也不可能留下一個通道讓後人可以進入。
秦始皇陵被盜掘一說，我們在前文中已經做過詳細的討論，結論是：秦始皇陵被人為盜掘過的可能性非常小。如果沒有被人盜掘，通往地宮的通道肯定不可能存在。所以，班固《漢書·劉向傳》的毀陵說極不靠譜。