公元265年，司馬炎篡魏，建立了西晉王朝。公元280年滅吳，結束了三國鼎立的局面，統一的中國出現了一個短暫的和平安定局面，出現了太康之治時代的繁榮。
西晉建立以後，社會經濟逐漸穩定，文化事業也得到了相應的恢複和發展，大量的文獻典籍得到保存。晉武帝開國之初，由秘書監荀勖、中書令張華依劉向《別錄》整理典籍，這是西晉初年第一次大規模的官府整理圖書的活動。武帝咸寧五年(279)，汲郡人不準盜墓得十多車竹書，後被官府收集。由荀勖、束皙等人對這些汲冢書進行了校訂整理，編製了目錄，這是第二次圖書整理活動。後來荀勖依照曹魏秘書郎鄭默編製的藏書目錄《中經簿》，總括群書，編製了一部綜合性的官府藏書目錄一《中經新簿》。它包括正文十四卷，另附佛經二卷，著錄圖書約「四部合二萬九千九百四十五卷」。它分圖書為四部：甲部——六藝及小學等書，即經部；乙部——古諸子家及近世子家，即子部；丙部——史記、舊事、皇覽簿、雜史，即史部；丁部——詩賦、圖贊、汲冢書，即集部。與劉歆《七略》相比，一是把《七略》中「兵書略」、「術數略」、「方技略」併入諸子略而變為乙部即子部，二是把《七略》中歸入「六藝略」的春秋類歷史書等獨立出來，設置了一個丙部即史部。《中經新簿》第一次以甲乙丙丁為四部次序符號，適應了當時學術的變化與 典籍增長的需要。
公元317年，晉王司馬睿在建康稱帝建立了東晉。而在北方則五胡混戰，紛紛割據，開始了十六國統治時期，藏書的破壞達到了空前的程度，以至於到「劉裕平姚」時，「收其圖籍，五經子史，才四千卷」。
東晉建立以後，重新收集圖書，僅得三千零一十四卷，僅占荀勖著錄之書的十分之一左右。著作郎李充對東晉所收集的圖書進行了整理並編纂了《四部書目》，它以五經為甲部，史記為乙部，諸子為丙部，詩賦為丁部，確定了經史子集四部。此後，這種經、史、子、集四部分類體系成為我國古籍分類的主流，經逐步擴展，一直沿用了一千多年。
公元420年，劉裕建立南朝宋以後的一百六十多年裡，南方經歷了宋、齊、梁、陳四朝的更迭，史稱南朝。北方是自公元386年拓跋珪建立的北魏，以後經一系列的戰爭至公元439年拓跋燾滅北涼才統一了北方，形成了南北對峙的局面 。後來北魏分裂成 東魏、西魏，而經歷了北齊、北周，歷史上稱北朝。
劉宋建立時，繼承了東晉少得可憐的四千卷藏書，又通過戰爭掠奪了北方後秦府庫中所有的四千卷赤軸青紙、文字古拙的藏書，從而一定程度上擴大了藏書的規模。宋文帝元嘉八年(431)秘書監謝靈運編製《四部目錄》時，藏書增至一萬五千七百零四卷，另有佛經四百三十八卷。
南朝齊時，藏書規模稍有擴大。齊初，沈約就在東宮「校四部圖書」。齊永明(483～493)中，秘書丞王亮、秘書監謝朓在整理圖書的基礎上編纂了《四部書目》，著錄圖書僅一萬八千零十卷。
公元502年，蕭衍建立了梁朝。蕭梁在建立政權過程中很重視對圖書的收集，還設立了「文德殿」、「華林園」典藏經籍，其中「華林園」專收藏佛教經典。梁天監元年(502)，秘書丞王泰對藏書進行了一次初步整理，天監二年(503)，任昉任秘書監再次校訂圖書，編纂了《文德殿目錄》，此目錄將術數之書更為一部，因此，蕭梁時代又出現了《五部目錄》。梁武帝後期的「侯景之亂」使藏書受到一定損失。侯景之亂以後，嗜好書籍的梁元帝將書籍歸於江陵，大約七萬多卷。公元554年，西魏軍破江陵時，梁元帝恐書籍落人敵手，燒書十餘萬卷出降。這次焚書使梁朝一度興旺的官府藏書再次遭到毀滅性破壞，給我國文化典籍又一次帶來了極大的損失。
北朝從北魏孝文帝改革和遷都洛陽以後，加速了鮮卑族的封建化進程，促進了民族融合，使國家的圖書事業得到了發展。孝文帝多次下詔求天下遺書，並且凡是「秘閣所無，有益時用者加以優賞」。經過三次大規模的搜求圖書，使北魏官府藏書終於達到一定規模。然而由於戰亂頻繁，政權更迭，使圖書一再受損。到北周保定(561～565)初年國家藏書不過八千卷，以後雖有所增加，也不過一萬卷，比起南朝的藏書尤為遜色。
兩晉南北朝是我國歷史上一個國家分裂，戰爭頻繁，社會動亂的時期。儘管如此，社會政治、經濟仍然在緩慢地發展。民族融合，宗教盛行，社會的科學文化也在不斷進步。這一時期是我國圖書史上由簡策過渡到寫本書的時期。東晉末年，桓玄稱帝時曾下令：「古無紙故用簡，非主於散也，今諸用簡者，皆以黃紙代之。」(《太平御覽》卷六零五引《桓玄偽事》)。紙張的應用，減輕了書籍載體的重量，使書籍的書寫、攜帶、流傳更為方便，也使得私人藏書得到很大發展，藏書量也相應增加。在這一時期，出現了兩部著名的私家目錄——《七志》和《七錄》。
《七志》為齊王儉(452～489)所編。他把圖書分為「經典志」、「諸子志」、「文翰志」、「軍書志」、「陰陽志」、「術藝志」、「圖譜志」七大類，道、佛書籍作為「附見」，實際為九類。過了五十年，梁阮孝緒(479～536)又綜合了《七志》和其他書目，編成一本目錄——《七錄》。《七錄》分內編和外編。內編包括「經典錄」、「紀傳錄」、「子兵錄」、「文集錄」、「術伎錄」；外編包括「佛法錄」、「仙道錄」。其下共分五十五部，類目相當精細。它給以後《隋書·經籍志》的分類，打下了基礎，在我國目錄學史上起著繼往開來的作用。這兩部目錄都已失傳，只有《七錄》的序保存在《廣弘明集》一書中，成為我國目錄學的重要史料。