作為一個有良心的官吏，在這種情況下，雖然對人民大眾充滿了同情，不願意像那些狠毒的「使臣」一樣，昧著良心去征斂，讓百姓們陷入絕境，自己博得一個「時世賢」的美名，但卻又無能為力。詩的後四句，說自己想棄官不做，「思欲委符節」，帶著家人，撐船歸隱，去打魚種田，老死江湖算了。
昔歲逢太平，山林二十年。
泉源在庭戶，洞壑當門前。
井稅有常期，日晏猶得眠。
忽然遭世變，數歲親戎旃。
今來典斯郡，山夷又紛然。
城小賊不屠，人貧傷可憐。
是以陷鄰境，此州獨見全。
使臣將王命，豈不如賊焉。
令彼征斂者，迫之如火煎。
誰能絕人命，以作時世賢。
思欲委符節，引竿自刺船。
將家就魚麥，歸老江湖邊。
癸卯歲西原賊入道州，焚燒殺掠幾盡而去。明年，賊又攻永州破邵，不犯此州邊鄙而退。豈力能制敵歟？蓋蒙其傷憐而已。諸使何為忍苦征斂，故作詩一篇以示官吏。
小《序》說「癸卯歲」，即唐代宗廣德元年（763），又說「明年」，當是作於廣德二年（764）。當時「安史之亂」剛剛平定一年，天下尚未太平。元結被任命為道州（今湖南道縣）刺史。道州是一個小州，又經戰亂和南方少數民族的騷擾，已經殘破不堪。元結在《舂陵行》的小《序》中說：「道州舊四萬餘戶，經賊以來，不滿四千，大半不勝賦稅。」連「賊」都覺得道州民很可憐，破城而不屠。但是，賊退了以後，官吏們卻不管那麼多，照樣橫徵暴斂，元結因此寫了這兩首詩。
然後說自己這幾年一直在軍中，現在才到這裡做地方長官。這裡曾經因為太小太窮，所以連「賊」都「不屠」，算是在戰亂中得以保全。但是，現在這些使臣，卻打著奉朝廷之命的招牌，「忍苦征斂」。「豈不如賊焉」，是詩人憤怒的指斥。
元結的《舂陵行》和《賊退示官吏》，是「安史之亂」時期杜甫詩以外最好的現實主義詩歌，也因此受到杜甫的激賞，寫下了《和元使君〈舂陵行〉》。
詩的前句回憶從前，在太平的時候，「井稅有常期，日晏猶得眠」，還算過得去。