孫劉聯盟暫時得以維繫，劉備把主力調往益州北部，專心對付曹操去了。孫權決定趁這個難得的機會大幹一把，建安二十年（215年）八月，就在曹操剛剛攻入張魯大本營南鄭的前後，孫權集合十萬人馬進攻合肥。曹操上次離開合肥的時候，留下張遼、李典、樂進三員猛將，但給他們留下的人馬並不多，只有七千人。
曹操也考慮到孫權將趁自己遠征漢中之機向合肥發難，他已經想好了對策，但沒有公開，而是寫在一封密函里，交給留守部隊的聯席參謀長（護軍）薛悌。
當互不隸屬、軍職也相當的幾路人馬共同擔任某項防務時，為了便於各路人馬之間的溝通、聯絡和協調，往往設護軍一職，他們地位一般不是特別高，但直接向曹操本人彙報，直接接受曹操的指令，因而地位很重要。
曹操走後薛悌謹遵指示，沒有打開過那個密函，直到孫權率十萬人馬向合肥殺來，薛悌想時候應該到了，趕緊當著張遼、樂進、李典諸將的面打開來看。大家還以為丞相留下了什麼秘密武器，期望值挺高，誰知只看到上面寫了幾句話：「若孫權至者，張、李將軍出戰，樂將軍守，護軍勿得與戰。」
大家有點失望，當前明顯寡不敵眾，宜採取守勢，等待援軍的到來，如果主動出擊，能否取得勝利實在很懷疑。只有張遼認為丞相的指示是正確的，他說：「曹公遠征在外，如果我們坐等待援，敵人必然會擊破我們。所以曹公命令我們趁敵人沒有集齊之時發起攻擊，挫傷他們的銳氣，以安定軍心，然後才能守住。」
樂進、李典等人還有些猶豫，張遼有些生氣：「成敗之機，在此一戰。諸君如果還要懷疑，我張遼願意單獨一戰！」
李典跟張遼平時有矛盾，此時慨然說道：「這是國家大事，我不能以私心而忘記公義，請讓我跟隨你前進！」
於是，張遼連夜招募敢死隊，共選了八百人，殺牛饗食，讓他們飽餐一頓。天亮後，張遼親自披甲持戟，率領這八百勇士殺入敵營。
張遼一邊殺，一邊大呼自己的名字，他們連殺數十名敵人，其中還包括兩員將領。他們衝鋒的速度極快，轉眼殺到孫權的指揮部（沖壘入至權麾下）。
孫權完全沒有料到，他大吃一驚，不知道如何辦，跟前有一個土堆，可能是一處墳堆（高冢），孫權顧不了那麼多，抱著一把長戟就上了土堆。張遼站在土堆下，高喊讓孫權下來一戰。孫權不敢動，這時孫權手下諸將殺了過來，將張遼圍住。
張遼率身邊數十人又往外面殺，剛殺出重圍，聽見後面有人求救，回頭看是自己帶來的人里有被孫吳士兵圍住不能脫身的，張遼於是又往回殺，所向披靡，敵人沒人敢擋。張遼順利地將被圍的士兵解救出來。
這一戰從早晨一直打到中午，張遼就用這八百人在孫權大營里連沖帶殺，孫吳軍隊居然毫無辦法，看著他們殺進殺出，孫吳士氣大損。
孫吳軍隊又攻了十多天，被士氣高昂的曹軍擋在城下無法得手，孫權決定撤兵。
孫吳軍隊接到命令陸續撤退，孫權和呂蒙、甘寧、凌統、蔣欽、陳武、潘璋等將領留在後面督陣。合肥城外有條淝水，淝水上有一個渡口叫逍遙津，孫權等人正在逍遙津以北等待過河，被遠眺敵情的張遼恰好發現。張遼率兵突然殺出，目標直指孫權。
這一擊實在太突然了，孫權等人毫無防備，呂蒙和甘寧拚死保護孫權，凌統指揮身邊的人架著孫權就走（甘寧與呂蒙等力戰敵，凌統率親近扶權出圍），把孫權轉移到安全地帶。凌統返過來再與曹軍交戰，身邊的人一個個戰死，他也多處受傷，估計孫權已經脫險，才撤離戰場。
呂蒙、甘寧、蔣欽等人死戰張遼以掩護孫權，甘寧勇猛異常，不停地引弓射敵，負責鼓吹的士兵大概也傷亡得差不多了，甘寧發現自己一方突然沒了聲響，還厲聲詢問，史書稱其「壯氣毅然」。
甘寧以前是劉表的部下，劉表派他跟隨黃祖與孫權作戰，在一次戰鬥中他射殺了凌統的父親凌操，從此結下了仇恨。凌統掩護孫權撤退後重新殺回，他跟甘寧默契配合，抵擋住了曹軍的猛攻。
據《三國志潘璋傳》記載，孫吳的將領陳武力戰而死，宋謙、徐盛、甘寧等人負傷。
《獻帝春秋》稱張遼遇到一個紫色鬍鬚的吳將，上身長、下身短，在馬上很善射，張遼問孫吳的降卒這個人是誰，降卒回答是孫權，張遼懊悔不已，趕緊跟樂進急追。
據《江表傳》記載，孫權騎馬到了逍遙津渡口上的一座橋，這座橋年久失修，橋面已壞，有一丈多寬的地方沒有橋板。此時只有他的侍衛長（親近監）谷利在身邊，谷利讓孫權握住馬鞍穩住身體，他在後面揮鞭以助馬勢，馬使勁騰越，最後跳過了斷橋。谷利立下大功，後來被封為都亭侯。
孫權僥倖逃過淝水，遇上部將賀齊率三千人前來接應，孫權才得以脫險。賀齊把孫權迎入大船，擺上酒宴為孫權壓驚，席間賀齊落下眼淚，他對孫權說：「人主的安危是大事，今天我們幾乎釀成大禍。群臣震怖，像沒有天沒有地了一樣，我將把今天這件事作為終身之誡！」孫權也走下座席，過去替賀齊擦乾眼淚（權自前收其淚）。
甘寧等人隨後突圍而回，其中凌統受傷最重，到淝水邊時，橋已被曹軍破壞，凌統穿著甲胄潛水渡河。到了孫權的大船上，孫權見了又驚又喜，把凌統留在自己的船上，親自為他換了衣服，拿出珍藏的「卓氏良藥」為凌統療傷，凌統才得以不死。
逍遙津一役，曹軍以七千餘人打退孫吳十萬人的進攻，兩次陷孫權於危難，使孫權損兵折將，創造了戰場神話。
經此戰後，張遼名氣更大，自那時起張遼的名字便與逍遙津聯繫在了一起。
後人評論此戰的勝利，一方面歸功於張遼等人作戰勇敢，面對強敵敢於主動出擊，以不足十分之一的力量對比，打得敵人節節退縮。另一方面，對於曹操的知人善任也給予高度評價。
曹操在留下的封函里彷彿已經預知了一年後發生的情況，對於如何用兵給出了清楚的指示，他知道張遼、樂進、李典等人互相不服氣，平時都不買對方的帳，所以暫時把拒敵方案秘而不宣，他相信關鍵時候張遼等人能以大局為重，且互相激勵，一定能出奇致勝。
之所以讓張遼擔任主攻，讓李典守城，是因為曹操了解他們的性格，張遼作戰勇猛，有狠勁；李典號稱「軍中長者」，是一員儒將，打起仗來比較冷靜，適合守城。
今天的逍遙津舊址在安徽省合肥市老城區的逍遙津公園內，園內還有張遼墓。張遼祖籍并州刺史部雁門郡馬邑縣（今山西朔州），他跟關羽是同鄉，關係很好。張遼於黃初三年（222年）病逝於江都，他死後要麼就地葬於江都，要麼葬於家鄉，不大可能葬在合肥，這個張遼墓應該是後人為紀念他而修的衣冠冢。