張全義，出身十分貧苦，祖輩都是老實憨厚的農民。張全義長大以後，為了生存，便到當地縣衙裡當了僕役，曾多次遭到縣令的欺壓和污辱。因此，當王仙芝的起義軍到達張全義的老家濮州一帶時，他就積極參加了王仙芝的軍隊，王仙芝失敗後，他又加入黃巢的起義大軍，在軍中，張全義作戰英勇，又精明能幹，迅速得到提升，在黃巢起義軍攻佔長安後，他被任命為大齊農民政權的吏部尚書兼水運使。在當時，吏部尚書主管政府的官吏考核與任免，權力大，職位也十分重要；而水運使更是擔負著為長安百萬義軍從水陸籌集糧食的重任。從這兩個職務可以看出，張全義在黃巢起義軍中所佔的重要位置。
不久，黃巢起義大軍在唐朝軍隊和唐朝藉助的外族軍隊的聯合鎮壓下失敗，張全義也像許多農民起義軍將領一樣，投降了唐朝。當時，張全義見河陽節度使諸葛爽較有勢力，便投靠了他，諸葛爽屢次派他剿殺起義軍殘部和襲擊其它軍閥，張全義都很賣力，立了許多戰功。在諸葛爽的推薦保舉下，張全義被任命為澤州刺史。不久，諸葛爽病死，其部下李罕之與劉經相互仇殺，都希望能佔領洛陽。當時，張全義是劉經的部下，劉經認為張全義既可靠，又有作戰經驗，就派他去抵抗兇悍的李罕之。張全義帶著劉經給他的兵馬來到前線，發現李罕之的勢力很大，而且戰鬥力很強，不僅自己，就是劉經親來也無法抵敵。在分析具體情況後，張全義就投靠了李罕之，反過來與劉經為敵，劉經見張全義背叛了自己，只得向諸葛爽的兒子諸葛仲求援。
在諸葛仲的支持下，劉經打敗了李罕之。李罕之見劉經求救於人，也不甘示弱，就向鎮壓農民起義軍起家的大軍閥李克用求救。得到李克用的幫助後，李又反敗為勝，佔領了許多地方。這樣，張全義又被李罕之推薦為河南尹。
這河南尹的官職比澤州刺史的官職大了些，但卻很不好當，李罕之是個只懂得殺人剽掠，征戰殺伐的軍閥，根本就不懂得安頓流民，組織生產，總是接二連三地向張全義催逼軍需物品。當時民生凋敝，餓莩遍地，軍糧極難籌集，儘管張全義盡力供應，還是無法滿足李罕之的要求，加之李罕之性格暴躁，稍不如意，就對送糧官員大張撻伐，弄得無人敢去送糧。在這種情況下，許多部下都勸張全義脫離李罕之或是乾脆反叛，可張全義總是好言勸慰，不露聲色。
張全義自己也深深地知道，長此以往，自己必然會與李罕之鬧翻，必須及早打算，於是他一面表面上順從李罕之，在軍需方面盡量滿足他的要求，使李罕之不起疑心；另一方面，他也積極準備，窺伺時機。唐信宗文德元年（八八八年），李罕之再起戰端，率兵攻打晉、澤二州，張全義見時機來臨，就帶領本部兵馬不費吹灰之力佔領了李罕之的河陽，自封為河陽節度使。李罕之聞訊大怒，立刻向李克用求援，李克用也馬上派兵幫助李罕之去收復河陽。在未佔領河陽之前，張全義就已做好了準備，同軍閥朱溫聯繫，求他幫助，朱溫正擴展勢力，便欣然接納，派兵幫他守住河陽。當李克用的軍隊來到時，朱溫的援軍已嚴陣以待，李克用的軍隊只好撤走。朱溫幫了張全義的大忙，從此，張全義就投在了朱溫的門下，朱溫對這個投靠過來的張全義並不放心，不敢給他兵權，深怕他在什麼時候反過來咬自己一口。於是給了他一個沒有實際兵權的檢校司空的軍銜，並仍讓他作河南尹，去河南一帶組織生產。
在張全義任河南尹的時候，朱溫的勢力越來越大，最後終於發展到代唐自立，朱溫用武力把唐昭宗挾持到洛陽，做好充分的準備，想廢掉唐朝，建立朱氏後梁政權。但洛陽地區是張全義的勢力範圍，他在這一帶的威信較高，朱溫生怕張全義反對他篡唐自立，就事先撤掉了他的河南尹的職務，把他封為東平王：給他換了一個中書令的虛銜。
張全義已是官場老手，他深深地知道，朱溫仍然不相信他。這時候唯一的辦法，是在朱溫自立為皇帝的時候替他出力，這樣才能表示出自己的忠心，取得朱溫的信任。於是，張全義替朱溫出謀劃策，把河南一帶的財力都集中給了朱溫，讓他自由調度使用。這麼一來，朱溫真地相信張全義了，再加上張全義一再上表辭謝，說自己不配封王，無力擔任中書令職務，弄得朱溫都有些感動。朱溫當了皇帝後，對張全義加官進爵，封他為魏王，讓他重任河南尹。
五代時期的確是中國歷史上最無恥的時期，不僅出了像石敬瑭這樣的「兒皇帝」，皇帝的生活也極其無恥，朱溫就是其一。這位後梁皇帝，到了誰家，看見誰家的妻女有些姿色，就硬讓人家陪宿，居然還不以為恥。春秋時期已經夠亂的了，齊莊公與大臣崔抒的老婆相好，還被崔抒領兵殺死，時人以為罪有應得，可朱溫公然在臣子家裡讓人家的妻女陪睡，竟像沒事一般。作為大臣，張全義也碰上了。這位叱吒風雲的將領是什麼態度呢？
一次，朱溫到了張全義家裡，一住就是數大，朱溫竟要張全義的妻子、女兒、兒媳輪流陪睡覺，張全義的兒子憤恨不過，磨刀霍霍發誓要殺死朱溫。可張全義不同意，他極力勸阻兒子，並說：「朱溫曾救過我的命，他要怎樣就讓他怎樣吧！」其實，張全義恐怕不是為了報恩，欲圖報恩，可用別的方式，何必如此呢？其目的還是保住官位。人能委曲求全至此，也可謂有涵養了！
在朱溫晚年，最大的對手就是李克用了，這兩派軍閥之間征戰不休，因此，朱溫對手握兵權者很不放心，對一批曾與李克用有過關係的人也不放心，張全義就是他要殺掉的目標之一。張全義採取的自救措施還是獻忠心，把洛陽的財力以及自己的家財全都拿出來，支持朱溫對李克用的戰爭，這才使朱溫稍稍氣平。後來，張全義又派自己的妻子去宮中為自己說情，這才打動了朱溫，朱溫讓自己的兒子娶了張全義的女兒做媳婦，表示對他的信任和好感。
經過反覆的戰爭，李克用的兒子李存勛終於打敗了後梁，於九二三年建立了後唐政權。李存勖早就知道張全義多年替朱溫操辦軍需品，十分惱恨，想把他全家殺掉。張全義也知道自己的處境非常危險，早就做好了準備。張全義準備了上千匹好馬，送給李存勛的劉皇后，請她幫忙說話，自己又上表請罪，乞求哀憐，並表示願替他治理洛陽，李存勖覺得他還有用，就赦免了他。後來，張全義又不失時機地表示自己的忠心，李存勖的許多活動的必需品都由他圓滿地置辦起來，弄得李存勛十分高興。他這種善於體貼巴結的做法竟然打動了劉皇后，要拜他為義父。就這樣，李存勖仍讓張全義做了河南尹，還任他為中書令，封為齊王，又做了李存勖的岳父，張全義又在新朝站穩了腳根。
後唐莊宗李存勖荒淫無恥，且不善治國，只知重用武夫和名門士族出身的人，不知重用文人和有才能的庶族出身的人，因而很快衰敗下去。在李存勖的晚年，他的養子李嗣源的勢力逐漸變得很大，大有取代李存勖之勢。恰在這時，趙在禮於魏州發動叛亂，張全義為了巴結李嗣源，就極力推薦他去平定魏州之亂。張全義的用意是很明確的，李嗣源一旦領兵出征，就會得到兩條好處，一是樹立威信；二是手握重兵，對將來篡奪帝位是很有利的，如果李嗣源真的當了皇帝。自己豈不又成了新朝的大功臣。但沒有想到李嗣源到了魏州，並非與趙在禮打仗，而是與之聯手，共同進攻李存勛，這一下可把這個推薦人嚇壞了。張全義恐怕李存勛殺掉他，日夜憂懼，連飯也吃不下去。沒過幾天就病餓而死。就在這時，李存勖也被部下殺死了。