八月，安祿山任命的河南節度使李庭望，親率大軍2萬進攻雍丘。叛軍距城東30里安營。張巡趁叛軍紮營未穩，率精兵3000出擊。叛軍大亂，被斬殺大半。李庭望收軍後連夜逃走。
當時肅宗指揮平叛，財力全靠江淮地區來支撐，而安祿山派兵東進的主要目的是要佔據運河沿線，進而佔據整個江淮地區，所以首先就向睢陽推進。睢陽陷落的時間是至德二年（757年）十月初九日，而唐軍在九月二十五日開始全面反攻，二十八日收復長安。十月十六日安慶緒退出洛陽，北走河北，河南一帶叛軍也紛紛北撤。睢陽陷落與安慶緒北走相距僅7天。也就是說，叛軍大將尹子奇雖然打下了睢陽，但來不及繼續沿運河向東南推進，就被迫北撤。正是因為張巡、許遠死守睢陽，蔽遮東南，拚死抗擊叛軍達兩年之久，使叛軍延誤時機，整個江淮地區才能安然無恙，所以「唐人以全江淮為巡、遠功」。實際上，張巡不僅護衛了東南半壁河山，也護住了唐帝國的經濟命脈，進而在刀光劍影的戰場上，在芸芸眾生的亂世中，張巡是一抹獨特的亮色，尤為鮮艷，尤為濃厚。而在張巡死後，竟然還引出一段公案。在朝廷追功封賞的時候，有人議論說張巡死守睢陽，不肯撤離，與其在城中殺人而食，不如棄城而保全人命。友人李翰聽說後，為張巡作傳記，上奏肅宗說：「巡以寡擊眾，以弱制強，保江、淮以待陛下之師，師至而巡死，巡之功大矣。而議者或罪巡以食人，愚巡以守死，善遏惡揚，錄瑕棄用，臣竊痛之！巡所以固守者，以待諸軍之救，救不至而食盡，食既盡而及人，乖其素志。設使巡守城之初已有食人之計，損數百之眾以全天下，臣猶曰功過相掩，況非其素志乎！今巡死大難，不睹休明，唯其令名是其榮祿。若不時紀錄，恐遠而不傳，使巡生死不遇，誠可悲焉！臣敢撰傳一卷獻上，乞編列史官。」（《資治通鑒·卷二百二十》）眾人看了李翰為張巡作的傳，了解到其中的種種慘烈與無奈之處，無不心驚而感動。從此，再也沒有人非議吃人一事。
張巡指揮作戰都是臨敵應變，應機立辦。他在戰爭中所表現出的計謀智慧，為中外戰爭史上所罕見，先後導演出了火燒叛軍、草人取箭、出城取木、詐降借馬、鳴鼓擾敵、削蒿為箭、火燒蹬道等一幕幕精彩好戲，計謀已經達到《孫子兵法》中所說的「無窮如天地，不竭如江河」的境界。他用兵不依古戰之法，而是令部將各以其戰法教士卒。有人問其原因，巡說：「現在是與胡兵交戰，雲合鳥散，變化無常；數步之間，勢有不同。隨機應變，在於倉促之間，而使部下動皆請示大將，事或不及，這是不知戰爭形勢的變化。所以我使兵識將意，將識士情，投入戰場，如手之使指。兵與將相習，人自為戰，這不是很好的戰法嗎！」
對於攻城的叛軍，張巡還經常對他們曉以大義，結果叛軍中有200餘人先後倒戈。當時叛將李懷忠在城下巡邏，張巡在城上問他：「君事胡幾何？」李懷忠答：「二期。」張巡又問：「君祖、父官乎？」李懷忠答：「然。」張巡又問：「君世受官，食天子粟，奈何從賊，關弓與我确？」李懷忠答：「不然，我昔為將，數死戰，竟歿賊，此殆天也。」張巡又問：「自古悖逆終夷滅，一日事平，君父母妻子並誅，何忍為此？」（《新唐書·卷一百九十二·張巡傳》）李懷忠聞聽此言，掩面流淚而去，隨即率數十人投降張巡。
令狐潮敗逃後，回望茫茫黑幔中的雍丘，恨恨地說道：「我若不取下此城，盡屠城中之眾，誓不為人！」
張巡因作戰勇敢，贏得了軍民的信任，被奉為主帥。張巡率軍民繼續守城，在一個月的時間裡擊敗了叛軍的多次進攻，使其傷亡過半。東平太守吳王李祗得知戰況後，將兗州以東的戰事委任給張巡。從此，張巡自稱吳王先鋒使，擔負起保衛雍丘的重任。
八月，睢陽被圍攻已經達7個月之久，城內守軍死傷之餘，已經銳減到600人。主動出擊已經不再可能，張巡與許遠便轉入全面防守，把全城士兵分為兩部分，張巡率一部守東北，許遠率一部守西南。二人與士卒同甘共苦，晝夜守備不懈。
然而，事情卻突然有了變化。天寶十五年（756年）二月，單父（今山東單縣）縣尉賈賁率吏民攻克了睢陽，斬殺了叛將張通晤。
張巡見睢陽久被圍困，想到擒賊先擒王的道理，決定射殺尹子奇，以此來解睢陽之圍。不過，唐軍方面沒有人認識尹子奇。張巡心生一計，命人將蒿草削作箭頭，射向叛軍。被射中的叛軍詫異自己沒有受傷，發現箭頭是蒿草後，十分高興，以為城內箭已經用完，立即拿著箭去向尹子奇報告。站在城頭觀察的張巡因此認出了尹子奇，讓神箭手南霽雲放箭。南霽雲彎弓搭箭，正中尹子奇左眼。尹子奇幾乎摔下馬來。主將受傷，叛軍頓時亂作一團。張巡趁勢率軍殺出城去，叛軍大敗，尹子奇帶傷敗退，差點被活捉。睢陽之圍因此而解。
岧嶢試一臨，虜騎附城陰。
不辨風塵色，安知天地心。
營開邊月近，戰苦陣雲深。
旦夕更樓上，遙聞橫笛音。
令狐潮為報殺妻兒之仇，率叛軍精兵15000人攻打雍丘。當時守城的唐軍總共也不過3000人，兵力對比懸殊，但雍丘將士同仇敵愾，奮勇抗擊。賈賁率軍主動出擊，不幸戰敗而死。張巡率眾繼續力戰，擊退叛軍。面對唐軍的頑強抵抗，令狐潮無計可施，不得已帶著殘兵敗將恨恨而去。
至德二年（757年）正月二十五日，尹子奇率媯（今河北懷來）、檀（今北京密雲）二州及同羅、突厥、奚等兵，與另一叛將楊朝宗會合，共計13萬大軍，進攻睢陽。睢陽太守許遠（許敬宗曾孫。昔日唐高宗欲立武則天為後，眾大臣諫阻，惟許敬宗促成其事，許敬宗因而被認為是奸臣）聞訊後，急忙派人到寧陵向張巡告急。張巡認識到堅守睢陽可屏障江淮的重要戰略意義，立即親自率軍3000餘支援睢陽，與許遠合兵後，共有6800人。
一計不成，叛軍又製作木驢來攻城。張巡用熔化的鐵水澆灌木驢，木驢當即被銷毀。叛軍無計可施，便在城西北用土袋子、柴木做成磴道，想藉此登城。張巡白天堅守不出，到了夜晚，暗中派人把松明、干藁等易燃物投進蹬道中。叛軍對此毫無察覺。10多天後，張巡突然率軍出城大戰，並派人順風放火燒蹬道。火借風勢，烈焰熊熊，叛軍甚至無力相救。大火一直燒了20多天才熄滅。
在此之前，許遠在睢陽囤積了6萬石糧食，可供城內軍民一年之用，但虢王李巨堅持將其中的一半分給濮陽（今山東鄄城東北）、濟陰（今山東定陶西南）二郡。許遠拒理力爭，卻無濟於事。可嘆的是，濟陰在得到糧食後，並沒有繼續堅守，而是投降了叛軍。睢陽城卻因此糧食奇缺，唐軍將士每人每天發給米一合，雜以茶紙、樹皮而食。士卒沒有足夠的口糧，戰鬥力因而大減，不少軍士虛弱的連弓弩都拉不開。但守軍在張巡的率領下，仍然頑強戰鬥。由於外無救援，士兵飢病不堪，守城兵力銳減至1600餘人。
此時，身在靈武的肅宗也聽到了張巡的大名以及輝煌戰績，下敕書任命張巡為河南節度副使，指揮江淮方面的作戰。張巡認為部下將士有功，派遣使者向虢王李巨請求給予空名的委任狀以及賞賜物品，而虢王李巨只給了折衝都尉與果毅都尉的委任狀30通，沒有給予賞賜的物品。為此，張巡寫信責備李巨說：「宗社尚危，圍陵孤外，渠可吝賞與貲？」（《新唐書·卷一百九十二·張巡傳》）李巨不聽。
當時雍丘糧食所剩無幾，城中開始缺糧，張巡打探到叛軍有數百艘裝運鹽米的船隻即將運往前線，便親自率兵夜出城南。令狐潮聞訊立即領兵前來迎戰。而張巡其實是採取聲東擊西之計，正希望令狐潮如此，他另派勇士到河邊奪取了叛軍的糧餉。
安祿山攻陷洛陽後，以叛將張通晤為睢陽太守，與陳留長史楊朝宗率精騎數千，向東進軍，唐郡縣官吏大多數望風逃走或者乾脆投降，因而叛軍氣焰極為囂張。但叛軍進至山東時，遭到東平太守吳王李祗與濟南太守李隨的抵抗。有人帶頭後，山東其他各地官民紛紛舉兵響應，起兵抗賊。
接戰春來苦，孤城日漸危。
合圍侔月暈，分守若魚麗。
屢厭黃塵起，時將白羽揮。
裹瘡猶出陣，飲血更登陴。
忠信應難敵，堅貞諒不移。
無人報天子，心計欲何施。
但張巡手下有6名將官認為天子都已經出逃，形勢不妙，心動欲降，勸張巡說：「敵強我弱，眾寡過於懸殊，實在難以取勝，再說天子存亡不知，不如早降。」張巡表面上裝作答應。第二天，張巡把玄宗畫像掛在堂上，率將士朝拜行禮，一時間人人皆哭。然後張巡引六將官於堂前，責以大義，斬之，堅定了眾人守城的決心。
睢陽城中將士聞知救兵未至，一齊慟哭數日，聲音震天動地。這哭聲，不但令人心酸，而且令人心寒。到了此時，城中人人已經抱了必死之心。