1938年3月初，侵華日軍進逼山東臨沂邊境。駐守臨沂的國民黨第40軍龐炳勛部在第59軍張自忠部增援下，與進犯臨沂的日軍展開了近一個月的激戰，給敵人以重大殺傷。爾後，張、龐兩軍相繼撤出戰場，臨沂遂於4月21日失守。
日軍侵佔臨沂城前，曾先後在城北古城村和城西大嶺村製造了兩起慘案。
3月下旬的一天，天剛放亮，日軍如狼似虎地闖入古城村。農民王漢友一家四口躲在地爪窖里，被日軍用點燃的秫秸堵住窖口，活活燒死。接著，日軍放火燒房，農民王殿思背起被火燒傷的母親往外逃，沒跑多遠，被日軍用槍打死，母了雙雙倒在血泊中；個躲在牆角里嚇昏了的老嬤嬤，被日軍拖到街上點火焚燒，老人慘叫，日軍卻站在一邊狂笑。不到一天的時間，古城村就變成一片廢墟，斷垣殘壁，血跡斑斑，全村被殺害62人，有一戶被殺絕。逃難的群眾在渡祊河時，又被日軍抓住數十人，用刺刀逼著脫光衣服向河裡跳，誰不跳，上去就是一刺刀。除個別人死裡逃生外，多數人慘死在水中，日軍卻在岸上狂笑。
日軍進大嶺村後，更是無惡不作。劉志賢母親的嘴巴、王富德母親的乳房被割掉，姜志敏之父及祖母等27人被槍殺。躲在村西觀音廟裡的避難群眾，除二人逃脫外，被日軍用機槍打死45人。全村300多間房屋被燒光，姜志茂、趙洪義、姜志順、張守信等四戶被殺絕。
與此同時，日軍不斷派飛機對城裡濫肆轟炸，特別在城垣棄守之前的兩三天內，轟炸掃射日甚一日。一枚炸彈在城內北大街路南王貞一雜貨店的防空洞口爆炸，在洞內避難的男女老少30多人，有的被炸死，有的被悶死，無一倖免。顏家巷郁鳴漪一家，除本人逃出外，其他人全部遇難。郁本人也因憂憤過度當晚自縊身亡。西門裡路南開雜貨店的李潤生之父被炸死在自己家中。在西門裡天主堂內避難的群眾被炸死炸傷300多人，修女尤姑娘被炸得骨肉分離，糊到牆上。
日軍進城後，在大街小巷密布崗哨，架上機槍，挨戶搜查，堵門截殺。日軍每到一家，遇人就是一刺刀，對中青年婦女先奸後殺，連老人、小孩也不放過。未及走脫的居民紛紛越牆，向西門裡天主教堂方向尋求避難。可是，德國神甫緊閉大門，萬呼不應，走投無路的難民瞬間聚集700之眾。這時，喪心病狂的日本兵，一面從教堂西面向難民掃射，一面在教堂以東各個路口用機槍堵截，毫無遮擋的人群紛紛倒下。這是第一次集體大屠殺，沒聽說有誰逃得出去。事後用車拉了好多天，才把屍首清理乾淨。
日軍進城的當天，發現了在城內西北壩子三個防空洞及西城牆根躲難的群眾，於是，先用機槍掃射，再用刺刀戳殺，480多人全被殘害。倖存者寧振芳全家10口人，在西北壩子城牆洞里避難時，被鬼子用刺刀刺死了9口。那時她是個八個月的嬰兒，鑽在娘懷裡吃奶，未被刺著，幸虧街坊陸大爺在事後蓋屍時發現她還有口氣，才被救出，抱給寧孫氏大娘收養，長大成人。
日軍從各家搜查到的人，受害者不計其數。西門裡太公巷一少女，被日軍輪姦後又用刺刀刺死。老營坊巷東一女青年，被敵人輪姦致殘後死去。日軍從南門裡一雜貨店院里的防空洞中搜出20餘人，當場全部用刺刀刺死。崔家巷一戶的小孩子出疹子，門口掛紅布條，日軍伯「傳染病」，點火將小孩活活燒死。日軍搜查城隍廟東楊家園時，婦女紛紛跳井自殺，頃刻之間，死屍塞滿井筒。茶棚街胡土英家的防空洞較大，藏人很多，日軍堵門用機槍掃射，並向洞內扔手榴彈，死者無數。日軍走時，還在胡家大門上寫著：「此院死屍大有」。北門裡路西一老太太年過70，卧病數月，生命垂危，全家7人圍守病床，未及躲避，日軍進院後將男子全部刺死，女的被逼得背起病人一同跳井。城內居民凡被日軍發現者均慘遭毒手。一次，日軍驅趕著30多人清掃北大寺（今東風製藥廠處），幹完活，說叫他們站隊點名，結果被機槍點射，全部喪生，屍體被推進大灣內。
全城的倖存者寥寥無幾，有的在地窖內東躲西藏多日，掙扎活命；有的白天在爐膛內藏身，深夜從城牆水道中爬出，住在南關美國醫院的近百名原國民黨第40軍傷員，連夜轉移到效外，多數重傷員死在醫院附近的麥田裡，曝屍曠野，無人敢收。萬惡的日本侵略者，在城西瘋狂屠殺十餘日後還嫌不夠，又在火神廟旁和南門裡路西設了兩處殺人場，用軍犬、刺刀連續殘殺無辜群眾以取樂。王學武的父親被日軍用刀剁成三截；徐廷香之父、呂寶祿等被軍犬活活咬死。全城被害群眾計2840餘人，加上沿途殺戳，共達3000人以上。
日軍在進行血腥大屠殺的同時，還縱火毀城。從火神廟以西、僧王廟前玉聚福街東、洗硯池以南，北到石碑坊、楊家巷至劉宅一帶，大火一直延續六、七天，整個城西南隅化為灰燼。南關老母廟前、閣子內外，房屋全被燒光。至於其他財產的損失，更無法統計。
侵華日軍血洗臨沂的滔天罪行，臨沂人民是永遠難忘的！
1986年，中共山東臨沂市委黨史徵集委員會召集慘案倖存者和遇難人員親屬調查訪問，下面就是臨沂大屠殺事件調查座談會紀要：
劉玉芝：「提起這些事，就恨得俺打哆嗦，難過的光想哭。俺父親當時52歲，就是被日本鬼子的飛機炸死的。他渾身都炸成了肉汁，只剩下了一個頭。送殯時是配上假身子安葬的。打那以後，我母親就領著俺姊妹三人出外逃准去了。我母親因為死了親人，生活又沒有著落，整天哭得死去活來，連餓帶病，一年以後也死去了。那次鬼子的飛機轟炸，光俺院就炸死了四口人。有個唐大娘藏在地窖子里，被炸得鼻口竄血而慘死。還有個賣炭的，他老婆被炸沒了影，後來在院子里只扒出了一條腿。有個小女孩才一生日，腦瓜子被炸得稀巴爛。一綹頭髮和血肉粘在一起，糊到了牆上。」
李樹英：「火神廟有個地窖子，鬼子進城時，許多人都往那裡跑。正跑著，有一個鬼子抓住了鄭嬤嬤，要糟塌她。俺三公爹就因為說了一聲『她老了』，就被鬼子一刺刀捅死，鄭嬤嬤被強姦以後，也被刺死。和俺三公爹一起跑的還有兩個鄰居，也都被鬼子刺死。」
孟慶祥：「住在我屋後的馬進元，鬼子來了，他往南堂醫院的牆上爬，叫鬼子一刺刀刺死了。靠我的屋山牆，有個叫侯祥的，50多歲，他正在井台上提水，被鬼子一刺刀刺死了。徐老頭老兩口，一聽到天主教堂打鐘，就往東達老鄭家的地窖子跑。一個炸彈扔下來，兩人都被炸沒了。事後發現，附近的樹上掛著一個小『纂』（即婦人的髮髻）」。
寧振芳：「我家任臨沂城裡書院街老營房巷。我的養母叫寧孫氏，她在世時常對我說，1938年4月鬼子進城時，我全家10口人被殺了9口，就剩下我孤伶伶一人。那時，我才出生48天。鬼子進城後亂燒亂殺，窮人都下鄉逃難，俺家鄉下沒有親戚，老人又跑不動，全家人就躲進城牆洞子里去。鬼子發現後，把洞子內的人全都用刺刀刺死。俺母親穿看件大棉襖，上下挨了三刺刀。我因為身體小，正趴在母親懷裡吃奶，沒有被刺著。後來，鬼子攆著街坊陸大爺去掩埋屍首，聽見我還能哭出來，就撕下我母親的一塊祆大襟，把我包起來，放到筐頭裡，背到天主教堂里藏了起來。兩三個月後，我被在天主教堂里做飯的養母抱去，當成親閨女養大。那時，我滿頭滿臉都是血，我養母給我洗乾淨。我的右眼，就是那時被母親的熱血撲的，至今看不見東西。」
王建德：「1933年日本電子進臨沂城時，我親眼看見飛機扔炸彈，鬼子又燒又殺，太殘無人道了。為了躲難，我母親領著我和妹妹，還有鄰居老常家娘倆、老石家一家15口，一共20人，都藏進北城牆根的地洞里。天傍黑時，被鬼子看見，朝洞里打了一梭子機槍。因這個洞子是丁字形的，人躲在兩邊，沒被打著。鬼子在外邊咿哩哇啦地直叫，老石家的老頭因為會說幾句朝鮮話，就領著全家人出洞了。跟著鬼子出去大約兩丈多遠，就聽著外邊叫喊的沒個人腔兒。過了好大一會，我家和老常家5口人一起出來，看見老石家一家人全被鬼子殺死。」
李玉英：「我現在73歲，家住臨沂城西關書院街北馬道。鬼子進城時，有幾個突然竄到俺家，把我的公婆和丈夫全拉了出去。我嚇得抱著剛滿月的孩子鑽了床底。我怕孩子哭讓鬼子聽見，就用奶頭塞住他的嘴，緊緊地摟在懷裡，沒想到，把孩子給活活地憋死了。我在床底下趴了一天一夜。第二天，丟下我那可憐的孩子，到鄰家找到了鄭大娘，抱頭痛哭了一場。當時她和我一樣，也無親人了，不想再活下去。於是，我把他叫到俺家，每人喝了一碗鹽滷水。也許是因為滷水太稀了，只是難受了一陣子，俺倆都沒有死成。以後就找了繩子，從西城牆上墜繩出城逃跑，俺叔伯哥哥把我接到娘家崗頭村去。」
孫建芝：「我今年53歲，是臨沂城書院街人。每逢想起自己的親人慘遭鬼子殺害的情景，就氣得渾身發抖。鬼子進城時，許