章學誠在《文史通義》中多次論述文集的起源：「子史衰而文集之體盛，著作衰而辭章之學興。文集者，辭章不專家，而萃聚文墨，以為龍蛇之菹也。後賢承而不廢者，江河導而其勢不容復遏也。經學不專家，而文集有經義；史學不專家，而文集有傳記；立言不專家，而文集有論辯。後世文集，舍經義與傳記、論辯三體，其餘莫非辭章之屬也。」 章氏雖向以思想深刻為人所稱，可將文集勃興歸結為學術衰微和人情澆薄卻大可商榷。文集盛與子史衰沒有必然聯繫，如東漢魏晉南北朝和唐宋史學和文學都很興盛，范曄與謝靈運既可同時，蘇軾與司馬光也不妨並世。戰國時期諸子百家爭鳴，並沒有妨礙屈宋等人的楚辭興盛。如果不以儒家有色眼鏡來看，六經中有史體，有子體，也有詩文，以今天的知識分類《詩經》就屬於詩集，《禮記》也有許多議論。張舜徽先生在《廣校讎略》中說：「著述文字，無外三門：抒情一也，說理二也，記事三也。」 被章學誠視為「先王之政典」的「六經」，就兼具抒情、說理和記事三種文字。抒情是人類的內在需求，我們不只有事實需要記敘，也不只有道理需要闡明，還有情感需要抒發。《漢書·藝文志·詩》小序說：「《書》曰：『詩言志，歌詠言。』故哀樂之心感，而歌詠之聲發。誦其言謂之詩，詠其聲謂之歌。」 《詩經》中的許多詩歌產生年代早於六經中的有些文字。《隋書·經籍志·集部》總序說：「唐歌虞詠，商頌周雅，敘事緣情，紛綸相襲，自斯以降，其道彌繁。」 可見，不是經、史、子衰落後才產生集，而是集與經、史、子同時產生。
《漢書·藝文志》基本是向、歆父子《七略》的節刪，其中的《詩賦略》其實就是後來的「集部」。除「《河南周歌詩》七篇」和「《周謠歌詩》七十五篇」等可能是先秦作品外，《詩賦略》中收錄的詩歌主要是漢詩，因為漢以前的詩歌總集《詩經》後世成為儒家六經之一，已入《漢書·藝文志》的《六藝略》。收錄的「賦」也主要是漢賦，戰國和秦代的辭賦比例很小，其中漢辭賦集有五十三種，共收辭賦共九百四十篇，戰國和秦代辭賦集只有五種，共收辭賦僅六十四篇。
關於文集起源的時間，《四庫全書總目·集部總序》說：「集部之目，楚辭最古，別集次之，總集次之，詩文評又晚出，詞曲則其閏余也。古人不以文章名，故秦以前書無稱屈原、宋玉工賦者。洎乎漢代，始有詞人。跡其著作，率由追錄。」 四庫館臣將西漢劉向編《楚辭》作為文集的源頭。《漢書·藝文志·詩賦略》中有《屈原賦》二十五篇、《宋玉賦》十六篇，但並無「楚辭」之名，自劉向將屈原、宋玉等人辭賦編為一集才定名《楚辭》，「楚辭」得名大概緣於此體創自楚人。古典文獻學分類中，《楚辭》不僅是「最古」的集部，也是最早的總集。假如打破儒家的傳統眼光，去除封建意識形態的成見，按現代的學術和知識分類，我國最早的詩歌總集當屬《詩經》。
《漢書·藝文志》有《詩賦略》，是因為當時子史之外的文體只有詩賦。日益豐富的社會生活自然需要多種多樣的文體來表現，東漢以後湧現出許多新的文體，有許多零碎的記敘文不能歸入史書，有許多龐雜的論說文不能歸入子書，有許多抒情作品不能併入詩賦，有許多應用文更無類可歸。這些詩文或其記事可以證史，或其議論可以明理，或其抒情直指人心，作者本人十分珍惜它們，社會上也有不少讀者，於是，就由本人或由他人將寫於各個時期的作品集中起來編輯成冊，這就是別集的由來。別集數量龐大後就出現了總集，總集不過是別集的彙編或選編。
魏晉南北朝時期新文體大量湧現，僅《文心雕龍》中論述到的文體就有二十多種，學者和文人都開始對文體進行歸類，這樣就出現了「文」「筆」之分—— 「有韻謂之文，無韻謂之筆」。
《文心雕龍》中屬於「文」類的文體就有「騷」「詩」「樂府」
「賦」「頌」「贊」「祝」「銘」「箴」等十幾種，屬於「筆」的文體也有「雜文」「史傳」「論說」「詔策」「檄」「移」「封禪」「章」「表」「奏啟」「議對」「書記」等十餘種。《詩賦略》顯然涵蓋不了魏晉南北朝出現的這些新文體，南朝宋齊時王儉《七志》改稱《文翰志》，梁朝阮孝緒《七錄》又改為《文集錄》，他在《〈七錄〉序》中闡釋改名原因說：「王（即王儉）以詩賦之名，不兼余制，故改為《文翰》。竊以傾世文詞，總謂之集，變『翰』為『集』，於名尤顯，故序《文集錄》為內篇第四。」 王儉以《詩賦略》「不兼余制」而改《文翰志》，阮孝緒以「文詞總謂之集」而改為《文集錄》。可見，將各種文體彙編成文集在梁時已成風習，社會上出現了很多總集和別集才會有「文集錄」。《文集錄》後來順理成章地成了《隋書·經籍志》的「集部」。
就圖書分類源流而言，「《隋志》《四庫》為《七略》《七錄》之後裔」 ，《詩賦略》更直接是後世「集部」的前身。