5路大軍合力作戰半個月，戰果輝煌。至8月下旬，山東的日偽軍已被壓縮至鐵路沿線和解放區內少數孤立的城市裡，惶惶不可終日。
在這些攻勢作戰中，打得最慘烈，持續時間最長的是臨沂戰役。
日本政府宣布投降後，駐山東日軍紛紛向城市集中。駐守臨沂的日軍不久逃往棗莊，臨沂周圍的偽軍亦大部隨日軍逃走。但也有橫的。這就是偽軍臨沂保安大隊長許蘭生。日軍和臨沂偽軍主力撤走後，有人勸他走，許蘭生把大眼珠子一瞪：「我就不信八路軍是三頭六臂，我就要守在臨沂。」
許蘭生下決心守，並不是他多麼無畏，實際上他是想向蔣介石獻媚。好等國民黨軍主力打回來，弄個「開國功臣」。他也深知自己勢單力薄，臨沂難守。於是他與偽費縣保安大隊邵子厚商定，兩部集中共同防守臨沂城。為增強實力，兩個人又與位於臨沂以北、汪溝西南的偽軍王洪久取得聯繫，商定3人協同守衛臨沂。這樣3股敵人總兵力已近5000人。部署是許蘭生和邵子厚兩部依託日軍多年經營的臨沂城堅固工事固守，王洪久率部防守建有築壘工事的汪溝西工事。兩點互為依託，相互策應。
白沙埠戰役後，魯中軍區決定對臨沂大沙河以北的王洪久部暫取守勢，集中兵力收復臨沂。
為迅速拔除山東區內敵偽軍這個堅固的堡壘，山東軍區決定以濱海第4團、魯中第11團等部組成攻城集團。
8月15日，先期到達臨沂的魯中軍區第2軍分區第11團，在團長陳宏、政治委員董超的率領下，向臨沂城發起攻擊。工兵攜帶炸藥，實施抵近爆破，以傷亡70人的代價，將城北門樓的3道古城門炸開了兩道。正在部隊進攻最後一道城門時，濱海軍區2分區攻城指揮所趕來，命令11團撤出戰鬥，攻城任務由濱海軍區2分區執行。
11團指戰員眼巴巴望著已被打開的兩道城門，無奈地撤出戰鬥。
不久，魯中2分區司令員吳瑞林趕到，11團團長陳宏向他彙報了剛才攻城的情況，吳瑞林後來不無遺憾地寫道：
我在攻克白沙埠後，向臨沂城進發到11團團部時，才得知這一情況。兩支兄弟部隊在各自執行任務的具體作戰行動中出現的這一小小的插曲，雖是由於戰事變化急劇和山東軍區新部署來不及下達所致，但終於丟失了一次不應丟的破城戰機；否則，如兩支兄弟部隊協同破城，則結局就很有可能是另一個樣子了。
8月17日，經過兩天準備，濱海2分區決定改從臨沂城南關發動進攻。戰鬥發起後，攻城部隊利用美教會醫院樓房這一制高點，組織火力掩護突擊隊登梯攀牆而入。雖然指戰員打得異常英勇。並兩次突上城牆，終因敵火力較猛，兩次被擊退，部隊傷亡達300餘人。攻城戰鬥受挫。羅榮桓得知這一情況後，非常焦急，急令軍區參謀處長李作鵬為前線指揮。率山東軍區特務團、教導團參加戰鬥。
18日，李作鵬來到濱海2分區指揮所在聽取了攻城指揮所的彙報後，傳達了羅榮桓的指示。之後決定，以山東軍區特務團、原教導2旅4團和魯中軍區2分區11團3個團協同攻城。為確保攻城成功，李作鵬帶領攻城部隊團以上領導用兩天時間勘察地形。之後，李作鵬召集擔任攻城任務的3個團的營以上幹部召開會議研究打法。
會議開始後，李作鵬簡要地講了這次會議的主要議程，之後請大家發言。多數人認為，攻城時間以夜間發起為好。爆破時間最好選在黃昏。
大家發言時，李作鵬沒有插話，靜靜地聽著，當大家把意見說完後，李作鵬站起來，宣布了他的攻城決定：「8月20日夜間3時攻城部隊從東、西兩面發起攻擊，東面首攻，西面後攻。東西兩面均由11團3營組織連續爆破，之後，攻城第一梯隊特務團、4團3營和11團3營發起突擊。其餘部隊為第二梯隊。」
8月20日，經過短暫準備，攻城部隊再次發起攻城戰鬥。雖然部隊連續組織了4次爆破，終因城牆太厚，炸藥包威力小，未獲成功。
爆破失利，攻城部隊仍於5時按時發起衝擊，特務團、4團3營和11團3營兩次架梯登城，均被守城之敵擊退，被壓在城牆外的護城河內。
至此，攻擊臨沂的戰鬥兩次受挫。