太初年間，飛將軍李廣的孫子騎都尉李陵聽聞楚人剽悍，就到楚地去招兵。吳單本是楚地的獵戶，家境貧苦，無法在家鄉生活下去，就應徵入伍了。李陵一共在楚地招了五千人，他帶著這五千人到張掖和酒泉去，教他們射術和刀術，帶領他們與匈奴人作戰。吳單原本射術極佳，又跟李陵學會了刀術，作戰也很勇敢，還學會了騎馬，李陵很器重他，就提拔他做了百人將。
天漢元年，大將軍李廣利率五萬騎出征青海，皇帝命李陵出居延，向匈奴境內的浚稽山進軍，以牽制敵人的兵力，李陵就帶著他的五千步卒出發了。在草原上走了一月有餘，萬幸並沒有碰上大股敵軍，李陵很高興，在浚稽山紮下營寨後，就派部將陳步樂回長安去向皇帝報信。由浚稽山到長安去，有數千里遠，途中還有可能碰到匈奴人，陳步樂自己一個人自然無法回去，李陵又從步卒里挑選了八個射術和刀術都很精湛而且會騎馬的人，保護陳步樂回到長安去，吳單亦在其中。
在途中因為與匈奴人作戰又死去了兩個步卒，最後回到長安的加上陳步樂自己只有七個人。陳步樂向皇帝報告了李陵的軍隊已經到達浚稽山的好消息，皇帝龍顏大悅，封陳步樂為郎中，俸祿三百石，與陳步樂一起回來的六個步卒，也得到了殊賞。
然而壞消息很快傳來，李陵的軍隊遇到了匈奴軍的主力，李陵率五千步卒，邊戰邊退，箭盡糧絕，仍沒有等到救援，最後在退到距居延關只有數百里遠的地方的時候，被匈奴大軍包圍，李陵突圍沒有成功，只好投降了匈奴。
皇帝大怒，不僅剝奪了陳步樂郎中的頭銜，還要把他和他手下的六個步卒全都斬首。這時候，全國上下人等，都覺得陳步樂等人死有餘辜，唯有太史令司馬遷覺得陳步樂冤枉。司馬遷性情耿直，雖然皇帝正在大怒，但他仍然直言進諫道：「陳步樂回來的時候，李陵還在浚稽山下與匈奴作戰，他不可能知道李陵後來會投降匈奴，他其實是沒有什麼過錯的。」皇帝也知道自己殺陳步樂是殺錯了，就說：「如果他們能用錢或者用腐刑贖死，朕就放過他們。」
漢朝有用錢贖死的法令，不過那筆錢數額巨大，達到五十萬錢，不是一般人能湊得出來的。陳步樂出身晉陽的世家，傾家蕩產，倒是勉強湊足了這筆錢，幸運地撿回了一條命，他手下的六個步卒，卻湊不出這筆錢，而他們又不願接受用腐刑贖死的辦法——可憐他們沒有死在草原上，卻要死在長安，死在皇帝的劊子手的斧頭下了！
就在要執行死刑的前一夜，步卒們終於決定還是要想辦法活下去，於是他們對關押他們的獄卒說：「男子漢大丈夫，遭到腐刑的話，也沒有臉活下去了，如果皇帝能夠同意我們用別的刑罰來贖死，無論是劓刑還是刖刑，我們都願意接受。」幸運的是那個獄卒也是一個有良心有見識的人，他把步卒們的請求向上面報告了，皇帝此時怒氣已消，竟然破天荒地同意了，於是那六個步卒，包括吳單在內，都幸運地逃得一命，不過他們也付出了巨大的代價，有的失去了鼻子，有的失去了一條腿。
吳單失去了鼻子，沒有臉再回到家鄉去，只能留在長安，以屠狗為生。與他同行的另外五個步卒，有兩個回楚地去了，後來再也沒有得到他們的消息，還有另外三個也像吳單一樣沒有臉回家鄉去，無奈地留在了長安。這三個人中，有兩個像吳單一樣失去了鼻子，還有一個則失去了一條腿。然而留在長安的日子也並不好過，因為他們身上都殘留著受過劓刑或刖刑的痕迹，長安市井裡的人都看不起他們，更有一些人，知道他們原來的身份和受刑的原因，把他們視為叛徒和漢奸，還把這消息散布開來，終於，在一個月之後，有一位步卒因為受不了別人的污辱，從東市的旗亭上跳下來死掉了，還有一位步卒，也在不久之後，殺死了污辱了他的人，然後自刎而死。
和吳單一起在長安活下來的那個步卒，本名劉義，身長八尺，是以「角觝第一」稱雄於李陵軍中的。他和吳單一樣失去了鼻子，也不願回楚地去，因此留在了長安。他本來是想以幼時在家鄉學會的角觝謀生，但是長安人都看不起他，根本不願與他賭賽，劉義無法，只能在長安街頭遊盪。有一天他到柳市去尋食，偶然遇見了柳市有名的大俠萭子夏，萭子夏看他可憐，就讓他改名叫賈義，又讓他戴上青銅的半遮面的面罩，跟外面的人宣揚說他本是軹地的大俠郭解的門客，因為幫郭解復仇才失去了鼻子。郭解是有名的大俠，二十多年前被皇帝族殺了，但是在民間仍有極高的威望，而萭子夏又是當時長安第一有名的大俠客，他說賈義本是郭解的門客，大家自然都相信，願意與賈義結識，於是賈義就在長安生活了下來，還娶了媳婦，家境卻比靠屠狗為生的吳單要好得多。
吳單因為缺了鼻子，長安市內百姓又都知道他曾是李陵的步卒，不願買他的狗肉，因此生計艱難。吳單本是獵戶，看到只靠屠狗無法維持生計，就重操舊業——長安附近本沒有可以打獵的地方，除非跑到終南山去，但吳單卻嫌終南山太遠；城西的上林苑，是皇家苑囿，裡面有許多野物，於是吳單趁著夜色，翻進上林苑中，挑了個個頭不是很大的鹿，射殺了抬回去，在長安的黑市裡賣。鹿肉本不易得，長安的富戶裡面，有不少人成了吳單的主顧，因此吳單也漸漸在長安城內安定下來。
轉眼到了次年的春季，三月的時候，卻傳來了李陵的家人要被處斬的消息。原來李陵投降了匈奴之後，皇帝大怒，再加上皇帝的小舅子大將軍李廣利也大敗而回，朝廷上那些官員，見風使舵，把這次大敗的責任全都算到李陵頭上，唯有太史公司馬遷進諫道：「李陵以五千步卒，孤軍深入，沒有後援，與匈奴八萬騎兵纏鬥，斬敵上萬，退至邊境附近，箭盡糧絕，才不得已投降了匈奴，李陵心中必定還是向著大漢的，以後若有機會，他必定要乘時而起！」皇帝怒氣消後，也覺得司馬遷說得有理，就派因杅將軍公孫敖帶兵到邊境上去，作李陵的接應。公孫敖等了一年多，不耐煩了，正好捉到一個俘虜，說李陵在匈奴教匈奴人練兵，公孫敖就把這消息報告給皇帝，皇帝震怒，覺得自己上了司馬遷的當，不僅把司馬遷關入獄中，更要把李陵的一家老小全都砍頭。
原本死刑都是要到秋後才執行，但這一回皇帝卻不耐煩了，要在春天殺人。砍頭的地點，定在東市的門口——這裡本是長安的刑場，以前就砍過不少人的頭，「七國之亂」時，御史大夫晁錯也是在這裡，穿著上朝的官服就被腰斬了的。
吳單以為李陵對自己有恩，他去找賈義，說要想辦法救出李陵的家人。賈義的媳婦這時已有身孕，自然不肯跟吳單去冒險，吳單也覺得僅憑兩人之力，要把李陵一家老小几十口從牢里救出，不太現實，就決定在長安到甘泉宮去的路上攔住皇帝的鹵簿 ，為李陵的家人喊冤。
於是他趁著夜色躲到長安城北的橫橋下，這裡是長安往甘泉宮去的必經之路。他赤裸上身，雙箭貫耳，在橋下等了一夜。天蒙蒙亮時，有大隊的車馬過來了，他就跳出來，跪在橋上，卻沒能等到皇帝就已經被開路的靜室令扔到河裡去了。吳單大喊：「我有話說！我要見皇帝！」但是靜室令們只嫌他礙事——他們半夜裡爬起來為皇帝開路已經很氣憤了，看到有不相干的人搗亂，自然不會客氣。
吳單並不放棄，遠遠地跟著皇帝的鹵簿，一直跟到了甘泉宮，他以為總會有機會接近皇帝的，因為甘泉宮周圍的防衛並不像長安城和道路上那麼嚴密。
皇帝的鹵簿綿延了數十里，皇帝坐在一輛由一百二十匹馬拉動的、寬達數十丈的巨大車輦之中，車上不僅有無數的金玉和流蘇作裝飾，更有數十宮娥陪伴著皇帝，以免他在路上感到寂寞。
甘泉宮在長安城北三百里處，宮內有通天台，高三十餘丈，台上有銅仙人托承露盤，到了夜裡，就有三百童男女徹夜而歌，聲震雲霄，皇帝在台上朝天而拜，期待仙人下降。吳單趁著白日里通天台疏於防衛爬上台去，躲在銅仙人後，到了晚上，四周都亮起火把，明亮如白晝，童男女們唱起求仙歌來，皇帝在銅仙人之下跪拜，吳單就跳出來，依舊是赤裸上身，雙箭貫耳，匍匐在皇帝腳下，高呼「冤枉」。皇帝看到突然有一個人跳出來，起初還以為是神仙下降，再看此人衣衫襤褸雙箭貫耳口呼冤枉，就知道又是來喊冤的小民，大怒，一揮手令身邊的衛士把吳單扔下通天台去。通天台雖然高，台下卻有很多草木，吳單又是步卒出身，因此僥倖沒有摔死，但也把腿給摔斷了。他在台下歇到半夜，聽著祈天的歌聲漸漸低了下去，看著皇帝又一次失望地離開通天台，才慢慢地爬起來，把耳朵上的箭拔出扔了，折了兩根樹枝作夾棍固定斷腿，又找了根棍子做拐杖，一路乞討著，垂頭喪氣地回了長安去。
吳單回到長安，備了瓮酒，到砍頭的時候，抱上斷頭台去，送李陵的家人上路。但李陵的老母和夫人，一看到吳單沒有鼻子，都知道他曾是李陵的步卒，竟不願接他的酒。原來她們也都以李陵投降匈奴為恥，竟是心甘情願地上了斷頭台，更有一個李陵的小兒子，年方八歲