南書房的設立是康熙帝的一個創造，這是應軍事之需、行政之需、學問之需和情趣之需。說軍事之需，是因為當時正進行平定三藩之亂的戰爭，軍報緊急而繁多，指示應迅速及時，皇帝身邊需要有軍政顧問和機要秘書。說行政之需，是因為康熙帝是勤政君主，三藩平定後，皇權集中，日理萬機，處理政務，也需要一個貼近的諮詢、秘書班子。說學問之需，是因為康熙帝酷愛讀書學習，經史子集，天文地理，算學音律，地方民情，隨時請教和探討，需要身邊有機要的師友。說情趣之需，是因為康熙帝喜歡書法、繪畫、詩詞、文玩，也需要人同趣相通，同好相逑。所以，南書房建立後，沒有因平定三藩之戰結束而結束，而是堅持下來，並制度化、規範化。
南書房實際設立較早，但沒有制度化、規範化。康熙十六年（1677年）十月二十日，正式創立南書房。康熙帝說：「朕不時觀書寫字，近侍內並無博學善書者，以致講論不能應對。今欲於翰林內，選擇二員，常侍左右，講究文義。但伊等各供厥職，且住外城，不時宣召，難以即至。著於城內撥給閑房，停其升轉，在內侍從數年之後，酌量優用。」（《清聖祖實錄》卷六十九）
以上所引說明，康熙帝設立南書房的最初動因是：其一，康熙帝身邊的太監等，沒有文化或文化不高，不能同他研討經史，切磋書法；其二，各大臣都有職務，也不能隨時陪伴身邊，日侍左右；其三，大臣住地離皇宮較遠，隨時咨商，很不方便，每日派員，輪流值班；其四，加強皇權，抑制旗權。所以要設南書房，這些隨侍左右的大臣應是：品德高尚，學藝有長，任事專職，住近宮廷。
南書房的名稱。「書房」是清入關前的舊名，「南」字是因書房在乾清宮南面，所以稱南書房，又稱南齋。雍正時在圓明園也設有南書房。最早正式入直南書房的官員為張英和高士奇。南書房官員稱南書房行走，但自大學士到侍郎等，都稱翰林，進出南書房，可走乾清門。（英和《恩福堂筆記》）不過進出門時都由內監或侍衛陪同，不可個人單獨進出，在書房門外的院里也不能隨便走動。
南書房的官員，地位特殊，稱為「內廷」。「內廷」官員有哪些人呢？一是御前大臣，二是軍機大臣，三是南書房翰林，四是上書房師傅，五是內務府總管等。就連內閣大學士、內閣官員都算外廷，而不算內廷。這是為什麼呢？因為內閣為外廷。內閣又為什麼算外廷？因為雍正朝從內閣分出軍機處，軍機大臣算內廷，大學士也就算外廷。南書房翰林與內廷官員進入內廷，從乾清門出入。
南書房翰林，挨近皇帝，參與機要，容易得寵，升遷較快。但是，南書房翰林，也蠻辛苦的——官員雖以入直南書房為榮，但不知其苦：「咫尺天顏，垂手侍立，久之則氣血下注，十指欲腫。若派寫進呈書籍，則終日伏案而坐，兩腳不得屈伸。」有人說：「伺候時立得手痛，鈔錄時寫得腳痛。」皇帝到南書房的時候，值班的翰林們都要到門外站著迴避，「呼某人則入，不呼則候，帝去乃入也」。皇帝同每個人談話內容，都是兩人間的機密，外人不得聞知，更不能外傳。
南書房值班的翰林，文具由內務府辦理，飲食由御膳房供應。早餐在家裡吃。《履園叢話》記載：徐乾學飯量大，每早入朝，吃實心饅頭五十，黃雀五十，雞子五十，酒十壺，可以竟日不飢。同朝張玉書古貌清癯（qú），早餐只食山藥兩片，清水一杯，亦竟日不飢。大多南書房值班翰林，伙食標準有規定：「每餐每日肉菜半桌，稻米一倉升，茶葉一錢。」（《清宮述聞》）可以喝免費的茶水。夏天，從五月初一日開始，每天賜給冰塊，裝在大盤裡乘涼。時令鮮果，地方特產，時常供應，也受賞賜（如字畫、筆硯、眼鏡、魚類、鹿肉等）。
南書房也有趣聞：狀元于敏中初直南書房時，一日同僚談鋒正濃，于敏中微聞聲音，疾呼其同僚說：「老頭子來矣！」話音剛落，皇帝駕到。乾隆帝聽到說自己是「老頭子」，頗不高興，嚴厲詰問。翰林們很緊張，不知如何回應。這時，于敏中機靈地對答：「萬壽無疆曰老，首出庶物曰頭，父天母地曰子。」乾隆帝一聽，轉慍為喜。于敏中節節高升，很快升為尚書，後官至大學士。
康熙少年智擒鰲拜的故事，有的書說就發生在南書房。康熙帝召鰲拜到南書房進講經史。鰲拜遵旨進入，內侍以折一條腿的椅子請他坐，持椅立後。命賜茶，內侍先把茶碗用開水煮，使杯極熱，鰲拜一接，茶杯墜地。持椅子的內侍，乘勢一退，椅子歪斜，鰲拜倒地。鰲拜在國君面前，摔杯、灑茶、歪椅、倒地，實屬大大地不敬。康熙帝呼曰：「鰲拜大不敬！」布庫內侍，撲而擒之。（《南亭筆記》）但《嘯亭雜錄》和《歸田瑣記》記載，是鰲拜入見時，康熙帝召羽林士卒或布庫少年將他擒捕的。
南書房翰林，都做些什麼？