正當台灣經濟文化迅速發展、蒸蒸日上之時，1894年(光緒二十年)中日甲午戰爭爆發。次年，中國慘敗，清政府被迫簽訂《馬關條約》，將台灣割讓給日本。從此，日本在台灣實行了長達半個世紀的殖民統治。
日本殖民者視廣大台胞為「二等公民」，剝奪了他們的一切自由和基本人權，一人「獲罪」，株連鄰里，稍有反抗，即遭血腥鎮壓和屠殺。他們肆意霸佔農田、森林、獵場，壟斷了所有重要農副產品的貿易，把人民的生活必需品列為「政府專賣品」，巧立名目，向台胞徵收數不清的苛捐雜稅，並利用政治力量，扶植日本壟斷資本，排斥、壓抑台灣民間資本。
日本殖民者不僅對台灣人民實行殘酷的政治壓迫和經濟掠奪，更在文化上進行精神摧殘，強制推行差別教育和強迫同化政策。
日本殖民者把台灣的初等學校分為三種：(一)小學校，專收日本兒童，學校師資、設備最好，經費也最充裕；(二)公學校，專收台灣兒童，師資和設備都很差，經費比小學校少得多；(三)「教育所」，專收「番童」，由警察擔任教學，根本談不上什麼設備。教學內容也採取三種不同的課程設制，公學校六年畢業，其程度只及小學校的五年級以下。所有的初等學校一律用日語教學，禁讀漢文，並通過所謂「修身」、「歷史」等課程，對台灣兒童灌輸日本國體觀念。
至於中、高等教育，日本殖民者更採取歧視台胞的政策。限制台灣學生升入中、高等學校。凡程度較高的中學，一律只收日本學生。他們設立各種實業學校和職業補習學校，招收台灣青年就讀，以培養有一定知識和技能的勞動力供其驅使和奴役。
日本殖民當局十分懼怕台胞有高深學問，刻意限制高等教育的發展。直到1928年才在台北創辦了第一所大學即帝國大學(今台灣大學前身)，而且主要是招收日本學生，即便招收為數極少的台灣學生，也只允許他們就讀醫、農科。據統計，1944年，帝大學生357名，台生僅85名，其中80名學醫。而且台灣學生往往「畢業即失業」。
第二次世界大戰爆發後，日本侵略者為了鞏固台灣這一「南進」的重要戰略基地，1937年9月後，在台灣推行「皇民化運動」，將「差別教育」進一步轉變為「強迫同化政策」：首先下令禁止使用台語、漢文，強迫使用日語；各級學校一律停開漢語課程，取消報紙漢文版；封閉所有中國寺廟，拆毀各種神像，嚴禁漢人祭拜祖先，強迫台胞前往日本神社「參拜」，一律改祀日本的「天照皇大神」；又推行「改姓運動」，強迫台胞改用日本姓名，穿日本和服；嚴禁中國戲曲、音樂和武術繼續流傳；不許漢人慶祝中國傳統的舊曆新年等等。 日本殖民者的罪惡目的是企圖從破壞台胞世代相傳的宗教信仰和風俗習慣入手，進而在台灣滅絕所有的中國傳統文化和民族精神，以日本文化取而代之，使廣大台胞成為俯首貼耳的殖民奴隸。
日本殖民者實行野蠻的文化摧殘政策，激起了廣大台胞的強烈不滿和反抗。具有強烈民族意識的台灣愛國知識分子採取各種方法，為維護和保存中國的傳統文化進行了不屈不撓的頑強鬥爭。
早在日本霸佔台灣之初，不甘臣服的台灣知識分子就曾掀起一股提倡漢學、寫舊體詩和搜集地方文獻編纂史書的熱潮。 日本殖民者實行奴化教育，開辦各種類型的學校，台灣同胞則針鋒相對，開辦漢文「書房」或私塾，「你辦一所公學校，我就再辦一個私塾」。當時，漢人開辦的「書房」、私塾遍及全台，盛極一時。 日本殖民者十分嫉恨，推行「皇民化運動」後，乾脆嚴禁開辦私學，下令關閉一切「書房」。但是，許多私塾先生仍不顧禁令，偷偷上課，用閩南語或客家語講授漢文。
在和日本殖民奴化教育的激烈鬥爭中，愛國台胞林獻堂功勞卓著。1914年，他發動台中愛國人士捐款，自建校舍，解決教學經費，創辦了台中第一高等學校(今台中一中)。各地愛國台胞紛紛效法，相繼創辦了一批私立學校，與日本殖民當局辦的「官校」相抗衡。據統計，1938年，台灣各種私立學校多達20所(不包括私塾)。
日本據台後不久，台灣知識界人士自發地在全台各地紛紛組織起各種名目的「詩社」、「文社」等文藝團體。他們讀漢文書籍、寫漢字、作漢詩、創辦文藝刊物，興起一股聲勢不小的「漢學運動」。其中比較著名的詩文家有連橫、洪棄生、胡南瞑等人。他們的名作如《台灣通史》(連橫)、《寄鶴齋詩文集》、《瀛海偕亡記》(洪棄生)、「五曲」(胡南瞑)，至今仍影響很大。
「五四」運動以後，台灣文藝界受祖國大陸新文化運動的影響，面貌為之一新。20年代，以張我軍、賴和為代表，大力提倡白話文，反對舊文學，提倡新文學。其中影響較大的知名作家還有楊雲萍、蔡秋桐、黃石輝、楊守愚等人。他們結成團體，用白話文創作了許多揭露日本殖民統治下黑暗現實生活的新文學作品，產生了很大影響。
20年代末至30年代中期，台灣文藝進入了新的蓬勃發展的成熟期。「南音社」、「台灣文藝聯盟」等進步文藝團體如雨後春筍，紛紛創立，十分活躍，湧現出一大批才華橫溢的新文學知名作家，如楊逵、吳濁流、郭秋生、張深切、黃得時、楊華、巫永福、廖漢臣、王琅等人，他們創辦了不少文藝刊物，創作了許多充滿時代精神、富有強烈民族意識的新文學作品。
30年代末至40年代中期，日本殖民者為配合「皇民化運動」，對台灣文藝界殘酷圍剿，所有進步文藝刊物被迫停刊，台灣新文學運動遭到空前摧殘。但是愛國進步的文藝家仍不甘屈服，有的潛回大陸，有的轉入「地下」，有的採用隱晦、曲折的筆法堅持寫作，在極端困難的條件下，與日本殖民者的文化鉗制政策和所謂「皇民文學」巧妙周旋和鬥爭，仍有不少佳作問世。
在日本殖民統治的50年間，台灣愛國知識分子含辛茹苦、不畏艱險，為維護和保存祖國的傳統文化進行了艱苦卓絕的鬥爭，使日本殖民者不但沒有能夠達到消滅中國文化的罪惡目的，相反，卻使中國文化在祖國寶島台灣更加深入人心。隨著1945年日本戰敗投降，台灣重歸祖國懷抱，中華文化重放異彩！