作為教育組織性質的書院起源於民間的私人聚書講學活動。
私人講學在中國有悠久的歷史。從孔子首創私學，到諸子百家率徒講學，私學大盛，奠定了私人講學的良好基礎。秦代雖明令禁私學，而事實上私人講學禁而不止，至漢代私人講學更蓬勃興起，並創立了私學的高級形式——精舍、精廬。楊榮春先生在《中國封建社會教育史》一書中說：「書院是私學的高級表現形式。」陳登原先生在《中國文化史》一書中也說過：「在唐以前，私人授學之所，名曰精舍。謝承的《後漢書》云：『陳實，字仲弓，歸家立精舍講授，諸生數百人』，『董春，會稽餘姚人。立精舍，遠方門徒從學者常數百人。諸生多升講堂，鳴鼓三通，橫經捧手請問者百人，追隨上堂問難者百餘人』，此即書院之前身。六朝以後，此風愈盛，僧道又各有精舍，以授其徒。此蓋書院之前身雲。」
將漢魏以來的精舍或精廬看作是書院教育的「前身」，這是很有見地的。一方面表明了書院教育是私人講學悠久歷史傳統的繼承和發展；另一方面也表明了漢魏以來的精舍或精廬，只是書院教育的「前身」，還不是唐末五代以後的書院教育本身。
書院教育的本質特徵是私人藏書聚徒講學。民間或私人具備藏書條件，構成書院教育產生的前提。漢代以經術造士，大師立精舍，從學者至數千百人。正如皮錫瑞《經學歷史》所言：「所以如此盛者，漢人無無師之學，訓詁句讀，皆由口授，非若後世之書，音訓備具，可視簡而誦也。書皆竹簡，得之甚難，若不從師，無從寫錄。非若後世之書，購買極易，可兼兩而載也。」這說明漢魏以來的精舍或精廬，大師私人講學皆由口授，尚不具備藏書條件。因而，精舍或精廬還不是書院教育，儘管宋以後有些典型的書院也有以精捨命名者，那只是表明後世學者對前世傳統的崇尚或追慕，而不能證明精舍或精廬已經是書院教育本身了。
唐代由於社會生產力的發展和科學技術的進步，發明了雕版印刷術，並迅速得到推廣。明代學者胡應麟在《少石山房筆叢》中稱：「雕版肇自隋，行於唐世，擴於五代，精於宋人。」雕版印刷術的發明，並在唐五代得以大規模推廣應用，為書籍的印刷製作提供了極大的方便。印刷業的發展，書籍的質量改善，使之數量大增。除了官方藏書的麗正書院、集賢書院之外，民間或私家藏書具備了較好的條件。唐中葉之後，各地民間或私人創建的書舍、書屋、書樓、書堂、書院之類的設施先後一批批地湧現。在官方麗正書院、集賢書院首先以書院命名為「修書之地」、「藏書之所」的誘發下，書院之名在民間或私人中更廣泛地流行起來。
唐代私人創建的書院在文獻記載中已屢見不鮮。僅在《全唐詩》中就可見以書院為題的詩十一首。如：李秘書院、第四郎新修書院(一名薛載少府新書院)、趙氏昆季書院、杜中丞書院、費君書院、李寬中秀才書院、南溪書院、田將軍書院、子侄書院、沈彬進士書院。這些書院多以個人命名，還不像穩定的正式名稱，這反映了書院初建時期的特點。見於各地方史志，註明建於唐代的書院有：
浙江省
青山書院 建德縣 翁洮建於唐
蓬萊書院 象山縣 縣令楊弘正建於唐大中四年(公元850年)
溪山書院 諸暨市 吳少邦讀書處，建於唐大中四年
九峰書院 龍游縣 徐安員讀書處，建於唐大中四年
麗正書院 紹興市 建於唐大中四年
福建省
梁山書院 漳浦縣 潘有美讀書處，建於唐
聞讀書院 福清縣 陳燦建於唐
鰲峰書院 建陽縣 熊秘建於唐
草堂書院 福鼎縣 林嵩建於唐
松洲書院 漳州市 傳為陳珦〔xiang向〕讀書處，建於唐
江西省
桂岩書院 高安縣 幸南容建於唐元和九年(公元814年)
景星書院 九江市 李渤建於唐長慶初
李渤書堂 德安縣 李渤建於唐長慶初
(少室書院)
東佳書堂 德安縣 陳崇建於唐大順元年(公元890年)
(陳氏書堂)
皇尞書院 永豐縣 劉慶霖建於唐
飛麟書院 南昌市 程(火畝)〔xiu 秀〕建於唐乾符五年(公元878年)
(虎溪書院)
登東書院 吉水縣 解世龍建於唐乾符末
湖南省
南嶽書院 衡山縣 李繁建於唐
(鄴侯書院)
李寬中秀才書院 衡陽市 李寬建於唐元和中
(石鼓書院)
杜陵書院 耒陽縣 建於唐
王寧書院 桃源縣 建於唐
石山書院 攸縣 建於唐
(光石山書院)
韋宙書院 衡山縣 韋宙讀書處，建於唐
盧藩書院 衡山縣 盧藩讀書處，建於唐
文山書院 澧〔li里〕縣 李群玉讀書處，建於唐
四川省
丹梯書院 巴中縣 張曙讀書處，建於唐
鳳翔書院 西溪縣 楊發讀書處，建於唐
西溪書院 西溪縣 楊發讀書處，建於唐
青蓮書院 鹽亭縣 李白讀書處，建於唐
張九宗書院 遂寧縣 張九宗建於唐貞元至元和間
貴州省
儒溪書院 綏陽縣 柳宗元讀書處，建於唐
陝西省
麗正書院 西安市 唐官方修書之地，建於開元間
(集賢書院)
瀛洲書院 藍田縣 李元通建於唐
山東省
李公書院 臨朐縣 李靖讀書處，建於唐
山西省
費君書院 永濟縣 費冠清建於唐
河南省
麗正書院 洛陽市 建於唐開元間
上列書院30餘所，多數籠統地稱建於唐，無具體年代可考，更無有關講學活動的記載，多註明為某人讀書處，明確記載有講學事迹者僅有三所，即：江西的皇尞書院，「唐通判劉慶霖建以講學」(光緒《江西通志》卷八十一)；福建的松州書院，「唐陳珦與處士講學處」(同治《福建通志》卷六十四)；江西的東佳書堂(亦稱陳氏書堂、義門書院)，「唐義門陳袞即居左建立，聚書千卷，以資學者，子弟弱冠，皆令入學。」(同治《九江府志》卷二十二)江西還有 一所書院，稱梧桐書院，光緒《江西通志》稱：「唐羅靖、羅簡講學之所。」實際這所書院始建於五代時的南唐。
有關史料儘管十分簡略，但從這些有限的史料中，人們已經可以洞察到書院教育初創時的基本狀況。書院教育源於民間或私人聚書讀書，發展為授徒講學。元代學者歐陽玄在《貞文書院志》一文中說：「以故家積書之多，學者就其書之所在而讀之，因號為書院。」(載同治《豐城縣誌》)可以說，至唐末，作為「士子肄業之所」的書院教育已具雛型，但規模甚小，且不甚穩定。
五代時期，書院教育獲得進一步發展。據《新五代史·一行傳》稱：「五代之亂極矣！《傳》所謂天地閉，賢人隱之時歟！」「干戈興，學校廢，禮義衰，風俗隳〔hui輝〕壞」，然而，「天下未嘗無人也」，「仍有潔身自負之士，嫉世遠去而不可見者」。士人隱居山林讀書講學成為唐末五代的一種社會風尚。其中頗有一些創學館、建書堂以延四方之士者。如：石昂，「青州臨淄人也，家有書數千卷，喜延四方之士，士無遠近多就昂學問。食其門下者或累歲，昂未嘗有怠色。」(《新五代史·石昂傳》)羅紹威，「字端正，其先長沙人，……紹威好學工書，頗知屬文，聚書數萬卷，開館以延四方之士。」(《新五代史·羅紹威傳》)羅紹威「有英傑氣，工筆札，曉音律，性復精悍明敏，服膺儒術，明達吏理，好招延文士，聚書萬卷，開學館，置書樓」(《舊五代史·羅紹威傳》)。《舊五代史·唐明宗紀》注引《愛日齋叢鈔》稱：「唐末以來，所在學校廢絕，蜀毋昭裔出私財百萬，營學館，且請版刻《九經》。蜀主從之，由是蜀中文學復盛。」《荊湘近事》也載蔣淮東隱居衡岳，聚徒講學，受業者稱其為山長。這些聚書萬卷、千卷的學館、書樓，延四方之士，聚徒講學，雖未以書院命名，實際上已是教育性質的書院。
直接指明建於五代的書院也有多所。如：
竇氏書院，後周時范陽人竇禹鈞建於今北京昌平縣內。據《范文正公文集·竇諫議錄》載：竇禹鈞，范陽人，「諸子進士登第，義風家法為一時標表。於宅南構一書院，屋四十間，聚書數千卷。禮文行之儒，延置師席。凡四方孤寒之士無供需者，公或為出之。無問識不識，有志於學者，聽其自至，故其子見聞益博，凡四方之士，由公之門登顯貴者，前後接踵。」
聞名於後世的嵩陽書院(河南登封境內