作家洪燭在一篇名為《北京的大院》的文章里寫道：「很久以來，北京市民的居住環境有兩種特色：首先是衚衕多，據說真正帶有土著血統的老北京，大多散落於古色古香、『一簞食、一瓢飲』的市井生涯；其次，則是大院多。」
大院通常分為兩類：一是部隊、部委，二是大學、科研院所。這些建國後遷入京城的新移民，早早地圍地築牆，確立了自己的「勢力範圍」，院中之院，牆中之牆，再一次構成了繼四合院之後，北京城的另一副骨骼和框架。同時，也從這裡孕育出了影響北京半個世紀的大院文化。
新中國剛成立時，軍人享有特殊的權力和地位。儘管「打江山」的老幹部來自五湖四海，多出身貧苦家庭，但他們的子女卻創造了一種獨特的「紅色貴族文化」。
《與青春有關的日子》里，方言、高洋等人用驕傲的口吻高喊：「幹部子弟兇猛，請勿靠近。」朱大可在他的新書中點評得很到位：「身份的優越感、地位的傲慢、家族的自負、對政治權力遊戲的敏感和洞悉，所有這些元素都滋養著大院少年。在色調灰暗的大街上，軍裝顯著地標定了他們顯赫的身份，令這些『動物』顯示了『兇猛』的表情，並在人民中散發出鶴立雞群的氣息。」
當畫家陳丹青聽劉索拉說王朔是「軍區大院的孩子」，而說起她自己卻「是衚衕里長大的」，就覺得有些聽不明白：按說衚衕里長大的，多數是城市貧民，可劉索拉分明是高幹子弟，劉志丹是她的親叔叔。陳後來才明白，解放後，一些領導人和社會名流的家，也安在衚衕。
與平民的大雜院不同，這些宅院大多獨門獨院，與鄰隔絕，且多經過改造，有專用鍋爐、廚衛設施。就因為劉家位高，所以進城後分配的住處是衚衕深處的四合大宅院，自然比王朔所住的容納了幾百戶軍屬的「大院兒」高級太多了。
陳丹青後來在《退步集》里感嘆說，共和國的第一代領導人知道什麼是好住房。比如康生的莊園，現在開放，叫「竹園」賓館，就是昔日的王府。小德子、盛宣懷住過，裡面有大樹、老樹，各種奇花異草，水池、台榭、迴廊。而上海、南京的好房子是西式洋房，也給第一代官員住滿了。
但僅靠存量資源顯然無法滿足進城幹部的住房需求，因此以單位為中心大規模興建大院便成為一種選擇。
在西長安街的延長線上，從木樨地北上，經白石橋到中關村，人們看到了首都北京的另一種城市景觀。沒有衚衕和披著灰瓦的平房，也沒有坐落在低矮的平房之中的王府或廟觀。在這昔日的城外荒郊，大道兩邊，圍牆連著圍牆，院落連著院落。轎車進出的氣勢不凡的大門，顯示著院落的身份。相當多的大門沒有機關或部門的標誌，只有一個神秘的門牌號。這就是關於北京「東富西貴」典故中的西邊大院。
據說大院的雛形可以一直追溯到古時候的縣衙或州衙，前面是公堂，後面是大小官員到雜役下人居住的地方，院牆一圍，等級森嚴。而在北京人心目中，紫禁城就是最大的大院。
「最有意思的是這種居住形式在故宮表現的最典型，前三殿後三殿，前三殿就是辦公的，後三殿就是皇帝和大家起居的地方，而恰恰解放以後的這種大院正好是把由皇城到縣衙然後到解放以後的形式，它都是這麼演變過來的。」中國民俗學會燕京民俗專業委員會副主任高巍如是說。
而這一切都要從1949年開始說起，古老的北京因為新中國的誕生需要重新規劃城市建設之時，卻發生了單位與單位之間競賽似的「圈地運動」，且大有各自為政的架勢。
1949年9月19日，梁思成為此致信聶榮臻，對一些單位未獲得都市計畫委員會同意就隨意興建的現象提出批評，指出「這種辦法若繼續下去，在極短的期間內，北平的建設工作即將呈現混亂狀態，即將鑄成難以矯正的錯誤」。
他希望聶榮臻「以市長兼市劃會主委的名義布告所有各級公私機關團體和私人，除了重修重建的建築外，凡是新的建築，尤其是現有空地上新建的建築，無論大小久暫，必須先徵詢市劃會的意見，然後開始設計製圖。這是市劃會最主要任務之一，若連這一點都辦不到，市劃會就等於虛設，根本沒有存在的價值了」。
當時，各機關為解決辦公問題，陸續佔用城內空房較多的王府，如衛生部佔用了醇親王府、解放軍機關佔用了慶親王府、國務院機關佔用了禮親王府、全國政協佔用了順承郡王府、國務院僑辦佔用了理親王府、國務院機關佔用了惠親王府、外貿部佔用了廉親王府等。
而在城外西郊，大幅土地一下子就被部隊分完了，形成一個個大院，如海軍大院、空軍大院、國防學院大院等；而在西北郊的文教區，民族學院、中國人民大學等一圈就是一大片，形成了「誰蓋樓中央就撥錢，誰就跑馬佔地」的現象。
從分布上看，復興路上公主墳到玉泉路沿線，是軍隊大院相對集中的地方。「這是歷史形成的，剛解放時，部隊都在西邊。」華遠地產總裁任志強說。軍隊宿舍的住房相當寬綽，將軍多半住小樓，至少兩家分一個樓。大區一級機關還有大校樓一說，一套五六間房子。一般校官住的宿舍樓，都是三四居室。房間的面積也「不同凡響」，廁所里擱進一個浴缸，只佔去一角。
而國家和市屬機關的宿舍院，集中分布在從西便門、阜成門以西，到木樨地、三里河、百萬庄一帶。「當時二環路就是城外了，最高時有78個部委，50多個都是在西邊。三里河地區是機關聚集區，房子好，住房也好，過去是最好的區。」任志強回憶說。
對於各個機關、單位「跑馬佔地」並一發不可收拾的現象，王軍的《城記》中這樣寫道：
由於各部門來頭都很大，疲於招架的都市計畫委員會幾成「撥地委員會」了。一位部隊首長竟在薛子正的辦公室質問王棟岑：「你們要我們的用地計畫，這涉及軍事機密，能告訴你們那麼具體嗎？我們的發展規模，連我們自己都說不出，你們能估計出來嗎？」王棟岑啞口無言，只好要多大地塊，就給多大地塊。
1954年，北京市委向中央提交報告，指出「在城內有空就擠、遍地開花，在城外則各佔一方、互不配合，現在這種現象，必須停止」。
1964年，國務院副總理李富春向中央提交《關於北京城市建設工作的報告》，指出，「由於建設計畫是按『條條』下達，各單位分別進行建設，北京市很難有計畫地、成街成片地進行建設，至今沒有建成一條完整的好的街道。許多單位總想自成格局，造成一些地區建設布局的不合理和建築形式的不諧調。不少單位圈了很大的院子，近期又不建設，造成用地的嚴重浪費」。
1982年，《北京城市建設總體規劃方案》提出，「今後不能再搞『大院』，要打破自立門戶『大而全』、『小而全』的格局」。
到20世紀80年代末，北京市在重新編製城市總體規劃的時候，規劃工作者發現，北京的各種大院，已達2.5萬個。
新北京的政治風雲和文化思潮不再從衚衕中升起。新北京人和他們的社區——大院已經成為北京城市社會的主體。
歷史上的「北京文化」以三種文化為主要代表：以帝王為主體的宮廷文化；以官僚士人為主體的士大夫文化；以平民百姓為主體的市民文化。那麼建國之後，最能代表北京城地域文化特徵的，就是「衚衕文化」和「大院文化」了。
衚衕文化其實就是北京市民文化的延續，而與之相對應的「精英文化」，在宮廷文化和士大夫文化消失之後，應該說由「大院文化」承載並發揚。
北京城的大院長久以來都是神秘的所在。直到1984年柯雲路轟動一時的小說《新星》和作為「京都三部曲」的前兩部《晝與夜》、《衰與榮》，才真正將高牆後面的北京揭開了一角：大院里的北京。人們看到了進出於大院的知識分子和文化精英，客廳里的政治角逐，密室中的運籌帷幄，幹部子弟的家庭沙龍，作家、記者、藝術家、研究生等的日常生活和上層北京的眾生相。
大院可分為兩類，一是黨政軍領導機關和中央各部委或所屬的機關部門；二是科學、文教單位、藝術團體，如高等學校、科學院各研究所、劇團、醫院等等。部門大院是本部門職工的集中居住區；典型的大院，是集工作場所與生活區域於一體的獨立空間。
由於這些部門之間獨立性很強，力圖自成體系，橫向聯繫就相對較弱。對於這種狀況，國內將之稱為「本位主義」或「部門所有制」，但國外也有人稱之為「部落主義」，應該說頗為傳神。
圍牆封閉的廣大院落內，居住人數上千人至數萬人不等。每個大院都是一個功能齊全的小社會，設有禮堂、操場、浴室、游泳池、俱樂部、商店等等，有的則還設有幼兒園、小學、醫院、糧店，以及郵電局、書店、儲蓄所、附屬中學、派出所等等。職工的「吃喝拉撒睡，生老病死退」由單位包下，幾乎都可在大院內得到解決，