守喪中的令狐綯很快聽說了李商隱進入王茂元幕府工作的消息，差不多同時也聽說了他娶親的消息：李商隱與他的同年進士韓瞻一樣，娶了王茂元的女兒為妻。令狐綯知道，這是「樹倒猢猻散」的人之常情——驟然失去頂樑柱的令狐家對於李商隱，就像穿舊的鞋，隨手丟在過去。但人又總愚蠢地期望，能夠碰見例外。父親視李商隱如親子，教他寫文章，資助他考試，為他提供工作，給他一切支持，甚至在他屢屢進士落榜時替他向考官說好話。可惜，李商隱並不是那個例外。他迫不及待地另攀高枝去了。
開成三年（838年），進士及第卻沒有等到授官機會的李商隱參加了博學宏詞科考試。原以為像這一科其他考生一樣，可以走一條考中即授官的捷徑，沒想到，他雖然通過了考試，卻沒有通過政治審查——他的名字已經被報上中書堂，卻被某一個宰相黜落了，理由是「此人不堪」。不具名的這個宰相想來知道了李商隱在令狐楚喪期投奔王茂元的事，做出了他認為最有正義感的判罰。李商隱被後世戳著脊梁骨罵「背恩無行」，從此開始。甚至《新唐書》的主編宋祁為了炫耀文采，不肯照抄《舊唐書》，在「背恩無行」四個字上又發展出「放利偷合」。哪裡有利呢？兩位《唐書》作者腦袋一拍：不是正有所謂「牛李黨爭」嗎？令狐楚是牛僧孺一派，王茂元是李德裕一派，他竄來竄去，是哪一派的好處都不想丟下的小人。
李商隱不愛為自己解釋。已經舉世嘲諷他「不堪」，還解釋什麼呢？但面對令狐綯，他總忍不住想要解釋一番。兩年之後，他給令狐綯寫過一首詩，小心翼翼地寫道，「錦段知無報，青萍肯見疑」。他是最擅長玩弄文字的天才，一首渲染可憐的詩並不能顯示特別的真誠，事情已經發生，再多的解釋都是一種掩飾。令狐綯把這封信如常地收在一邊。原諒是容易的，但情感上的鐵幕落下，要想再打開，哪怕是他自己，也不是隨心所欲就能做到的事。他們依然通信，詩詞唱和，彷彿還是從小到大一起玩的朋友，但兩人心裡都知道，都不同了。
李商隱不想失去令狐綯這個朋友，令狐綯的朋友們不想放過李商隱這個「罪人」。開成四年（839年），李商隱一邊為王茂元工作，一邊依然沒有放棄考試。他又參加了一次考中就能立刻授官的科目考：書判拔萃。這一次運氣不錯，成了秘書省校書郎。很快，李商隱就被調出中央去做弘農尉，負責司法。沒想到，他不願意草率判犯人死刑的努力觸怒了上司陝虢（guó）觀察使 孫簡，差點把工作給丟了。孫簡這不分青紅皂白的怒氣卻並不是就事論事：孫簡的女兒嫁給了令狐綯的哥哥。與黜落李商隱的宰相一樣，找李商隱的麻煩是孫簡替令狐家鳴不平。
一邊是令狐家的親朋故友對他的懲罰，另一邊是老丈人對他文筆近乎自私的索取。李商隱做弘農尉沒兩年，正在陳許節度使任上的王茂元便招李商隱為自己做掌書記，李商隱沒法拒絕。朝廷離開容易，回去難。從此，李商隱又開始輾轉幕府，他能做的，只有再次參加考試，獲得回朝的機會。兩年之後的會昌二年（842年），李商隱再次參加了書判拔萃的考試，鍥而不捨地回到了秘書省做正字。
在命運一次次的磋磨里，他已經足夠堅強，但一次又一次的跌倒再爬起來並不能交換任何一點兒喘息的機會。春天授官，冬天傳來母親病故的消息，做秘書省正字才半年的李商隱不得不遞上辭呈，回家守喪。在與冬天一樣蕭條的心情里，無所事事的李商隱目之所及，都是家庭的殘破。哪怕他背負舉世罵名，放棄最愛的朋友，放棄矜持與尊嚴努力與命運對抗，他還是不夠快，來不及給母親一個想像裡衣食不愁、兒孫滿堂的安穩晚年。他還能夠做到的只有把幾個姐姐改葬，遷回懷州家族墓地，這是從祖母那時起就一直惦記也一直無法實現的願望。
沒想到，改葬是在戰爭中進行的。會昌三年（843年），昭義節度使劉從諫去世，他的侄子劉稹秘不發喪，要求朝廷任命自己為節度使留後。節度使留後常常在節度使不在轄區時代理工作，久而久之，便成了下一任節度使候選人。對朝廷任命不屑一顧的河朔三鎮節度使，常常任命自己的親信兒子做節度使留後，朝廷只有點頭應諾的份兒。這是效仿河朔三鎮的故事，要把昭義節度使從朝廷命官變成劉家父死子繼的囊中之物。朝廷對此有相反的意見，一邊認為朝廷已經姑息河朔三鎮如此多年，現在多一個昭義不多，少一個也並不能挽回多少臉面。但主持朝政的李德裕態度堅決：昭義與河朔三鎮不同，首府路州（今山西長治）靠近長安，如果昭義也如同河朔三鎮一樣失去控制，對於朝廷是迫在眉睫的威脅。最終，皇帝聽從了李德裕的意見。五月，朝廷下令削奪劉從諫、劉稹官爵。朝廷對昭義的戰鼓由此擂響。
下一年，朝廷派宣諭使 出巡河朔三鎮，宣諭皇帝的詔令：想要保持現狀，就不準幫助劉稹作亂。宣諭使的工作完成得很好，河朔三鎮中的成德節度使與魏博節度使同意率兵攻打昭義與他們接壤的邢州、洺州與磁州。河東節度使、河中節度使等也受命合力進攻，形成了對昭義的包圍。正做忠武軍節度使的老丈人王茂元被調為河陽節度使，切斷昭義軍進攻洛陽的可能。
李商隱家的祖墳在懷州雍店東原，正要穿過戰場。李商隱帶著母親和姐姐們的靈柩從鄭州回到懷州時，烽火朝然，鼓鼙夜動。王茂元的軍隊與劉稹在懷州短兵相接。李商隱被阻攔在戰場之外，無進無退，只能暫時寄放靈車，回到王茂元的幕府，一邊為他起草公文，一邊等待著這場戰爭不知道何時的終結。會昌四年（844年）八月，昭義叛亂平定。四散多年的李商隱至親的靈魂終於在他的努力下團聚在懷州祖墳。
李商隱為這次改葬寫下一批祭文，最有名的是《祭裴氏姊文》《祭徐氏姊文》。幾個姐姐比他年長許多，她們去世時他還年幼，生離死別的痛苦其實遙遠，但「失去」本身卻是一種一天一天都在強調的切膚之痛——「內無強近，外乏因依」，「四海無可歸之地，九族無可倚之親」。這個家庭，失去了經濟來源，失去了社會地位，失去了親戚朋友，失去了一切來自外部的幫助，有的只有冷眼與拒絕，窮且困。
李商隱的上一輩人柳宗元曾經寫過：「吾觀古豪賢士，能知生人艱飢羸（léi）寒、蒙難抵暴、捽（zuó）抑無告，以吁而憐者，皆飽窮厄，恆孤危，𧦧𧦧忡忡，東西南北無所歸，然後至於此也。」艱苦、飢餓、羸憊、寒困，他都經歷過，也算是「飽窮厄，恆孤危」，他沒有被窮厄壓死。現在，他是朝廷命官秘書省正字，有一個封疆大吏老丈人，正該成為豪賢。但是王茂元死於昭義叛亂的戰場，李商隱通往政治中心的社交網路轟然摧塌。
他再仔細檢查，尷尬地發現，只剩下令狐綯。這些年，令狐綯一路從左補闕兼史館修撰升到從六品的庫部員外郎、戶部員外郎。令狐綯的官運不亨通，但也一步一個腳印。比起一次兩次反反覆復從九品下秘書省正字重新開始的李商隱，已經好太多。只是中間隔著「背叛」這樣大的障礙，哪怕李商隱反覆解釋了，交情也維持得不咸不淡。在覥著臉吹捧令狐綯獲得推薦與殘存的自尊心間，李商隱搖擺了一會兒，但他的猶豫並沒有維持太久：
會昌六年（846年），唐武宗去世。唐宣宗即位，改元大中。令狐綯的官運時來運轉。