20日晚，華東野戰軍發起全線攻擊。第1縱隊一舉攻佔萊蕪西郊、北郊的礦山、小窪等要點，並在21、22日連續打退了優勢國民黨軍在飛機掩護下的猛烈反擊，這就為後續各縱隊趕赴戰場贏得了時間。野戰軍首長讚譽該部：「在整個戰役中起了決定作用」，立了「第一功」。（粟裕在華東野戰軍高幹會議上對萊蕪戰役的總結講話，1947年3月8日）與此同時，第10縱隊攻佔萊蕪西北的錦陽關；第9縱隊控制了萊蕪東北的和庄、青石關地區；第6縱隊在攻擊萊北交通咽喉吐絲口時，遭到了守軍第12軍新編第36師的頑強抵抗。經3晝夜激戰，雖然佔領了該鎮大部地區，但殘敵仍負隅頑抗。於是，以主力繼續圍攻該師殘部，以1個師在鎮南構成對萊蕪之敵北撤的阻擊陣地。至此，萊蕪地區國民黨軍的北撤道路被完全切斷。
華東野戰軍原擬對駐萊蕪的第73軍與駐顏庄的整編第46師採取分割包圍、各個殲滅。但是，未及完成部署，整編第46師即於22日撤入萊蕪城。於是，華東野戰軍再次調整部署：以第1、第7縱隊和正由南線北開的第2縱隊組成西突擊兵團，以第4、第8縱隊組成東突擊兵團。如李仙洲集團固守萊蕪，則於23日晚對其發起總攻；如該部向北突圍，則將其夾擊聚殲於萊蕪以北地區。
龜縮萊蕪城內的國民黨軍，在華東野戰軍重兵包圍下十分恐慌。李仙洲幾次召集高級將領研究對策，有的主張固守待援，有的主張冒險突圍。在突圍的時間與方式上，也各持己見，莫衷一是。最後，第2綏區司令官王耀武考慮到李仙洲集團據守孤城，易於被殲。突圍北撤，既能接應、救援吐絲口守軍，又有利於鞏固膠濟線與淄博礦區以至濟南的防務，遂對李仙洲下達了突圍命令。
23日晨，李仙洲集團集結城北，以第73軍為左縱隊，整編第46師為右縱隊，準備並行突圍。但在臨出發前，整編第46師師長韓練成「失蹤」，更增加了突圍指揮的混亂。
原來，韓練成早在抗日戰爭期間就與共產黨建立了聯繫。萊蕪戰役開始前，華東野戰軍即派敵工幹部去該部工作。按照野戰軍首長的意圖，韓練成在整個戰役期間，對李仙洲採取了敷衍、拖延的消極態度。在突圍的關鍵時刻，韓在解放軍敵工人員引導下，託故躲入城內，放棄指揮。
當萊蕪國民黨軍開始突圍時，華東野戰軍採取了「圍三闕一」的戰法，誘使國民黨軍放膽北進。待其後尾脫離城北礦山最後一個據點，立即以第4縱隊一部佔領萊蕪城，斷敵退路。李仙洲集團所以採取2個軍4個師齊頭並進的隊形，原指望縮短縱深，加強突擊力量，以一鼓作氣迅速突出重圍。但是，人多路少，人員、馬匹、輜重、車輛擁擠在狹窄的道路上，根本無法保持正常的行軍隊形，反而影響了兵力、火力的展開。
10時許，其先頭部隊進抵芹村、高家窪一線，即遭華東野戰軍第6縱隊的迎頭阻擊。隱伏在兩側山區的東西兩突擊兵團同時進行向心突擊，迅速將敵軍割裂成數段。國民黨空軍副總司令王叔銘親自帶隊，指揮數十架飛機組成的龐大機群掩護突圍。但在敵我交錯的混戰狀態，也無能為力。
戰至17時，李仙洲集團大部被殲於萊蕪、吐絲口間東西約三四公里，南北僅一二公里的狹窄地域內。第73軍軍長韓浚率千餘人鑽隙突圍至吐絲口，會同據守該鎮的新編第36師殘部向博山方向逃竄，也被解放軍預先部署的阻擊部隊第9縱隊殲滅於青石關地區。
王耀武在得悉李仙洲集團被殲後，為確保濟南、濰縣、青島諸要點，迅速收攏膠濟沿線各部隊。華東野戰軍就勢收復膠濟鐵路西段及其兩側的縣城13座，控制鐵路200餘公里。這樣，就使魯中、膠東、渤海各解放區重新連成一片，鞏固了華東的後方基地。