農業革命後幾千年的歷史，可以總結為一個問題：如果人類的基因里並沒有大規模合作的生物本能，所有的合作網路究竟如何維繫？簡單的講法，是人類創造出了由想像建構的秩序、發明了文字，以這兩者補足我們基因中的不足。
但對許多人來說，這些合作網路究竟是好是壞實在難說。網路背後那些想像的秩序既不中立也不公平，總把人分成一些其實並不存在的分類，並且排出上下等級。上等人享有各種權力和特權，而下等人有的只有歧視和壓迫。以《漢謨拉比法典》為例，這部法典就將社會分成上等人、平民和奴隸。上等人養尊處優，享盡一切好處。平民只能撿撿上等人剩下的東西。而奴隸如果還敢抱怨，就等著吃苦頭了。
就算是1776年的美國《獨立宣言》，儘管把人人生而平等喊得震天響，其實還是把人分成了上下等級。《獨立宣言》區分了男女，男性從中得利，但女性卻被剝奪了同樣的權利。《獨立宣言》也區分了白人、黑人和印第安人，讓白人享有自由民主，但卻認為黑人和印第安人是比較劣等的人類，不該享有平等的權利。當時許多蓄奴的人也在《獨立宣言》上籤了名，他們簽署後並未釋放奴隸，但一點兒也不覺得自己言行不一。在他們看來，黑鬼哪有什麼「人」權？
美國這套秩序還區分了貧富之間的階級。當時，美國人對於有錢爸媽把遺產和家族企業留給子女多半並不覺得有什麼問題。在他們看來，所謂「平等」指的只有「法律面前人人平等」這件事，而與失業救濟、普及教育或健康保險無關。至於當時的「自由」，也與今天截然不同。在1776年，「自由」並不代表著權利遭侵奪的人能夠取得並行使權利（至於黑人、印第安人或女性更是絕無可能），而只是代表著除非特殊狀況，否則國家不能沒收或處分公民的私有財產。這麼說來，美國這套秩序所奉行的就是「財富的階級」，有些人會認為這就是神的旨意，也有些人會認為這是自然不變的規律。這些人會說，勤勞致富，懶惰則困窮，這是自然的賞罰原則。
然而，以上所有的區別，不管是自由人／奴隸、白人／黑人、富人／窮人，都只是虛構的想像所建構出來的。（後面會另外來談男女的階級問題。）然而歷史的鐵則告訴我們，每一種由想像建構出來的秩序，都絕不會承認自己出於想像和虛構，而會大談自己是自然、必然的結果。舉例來說，許多贊成奴隸制度的人就認為，這是自然現象，並不是人類所發明出來的一種制度。漢謨拉比認為，為人或為奴是神所決定的。亞里士多德也認為，奴隸有「奴隸的本質」，而自由人有「自由的本質」，他們的社會地位不同，只是本質的展現。
而且，如果你問一個白人至上主義者為什麼贊成種族階級制度，他幾乎一定能跟你滔滔不絕地來場偽科學講座，告訴你不同種族之間本來就有生物學上的差異，比如說，白人的血液或基因就有什麼特殊之處，讓他們天生更聰明、更有道德感也更勤奮。另外，如果你問一個資本主義的忠實擁護者為什麼贊成財富階級的制度，他也很可能告訴你，這正是客觀能力差異帶來的必然結果。這些人認為，有錢人之所以有錢，是因為他們能力更強，工作更認真。這樣一來，有錢人該有更好的醫療保健、更好的教育、更好的營養，也是天經地義的事。這每分每毫，都是他們應得的。
至於贊成種姓制度的印度教徒則相信，是宇宙的力量劃分了種姓的階級。根據著名的婆羅門教神話，諸神是以原人普羅沙（Purusa）的身體創造這個世界：他的眼睛化成太陽，他的大腦化成月亮，他的口化成了婆羅門（祭司），他的手化成了剎帝力（貴族、武士），他的大腿化成了吠舍（農民和商人等平民），而他的小腿則化成了首陀羅（僕人）。如果相信這種說法，那麼婆羅門和首陀羅的社會地位差異就再自然不過，就像太陽和月亮本來就該有所不同。 而中國古代的《風俗通》也記載，女媧開天闢地的時候要造人，一開始用黃土仔細捏，但後來沒有時間餘力，便用繩子泡在泥里再拉起來，飛起的泥點也化成一個一個的人，於是「富貴者，黃土人；貧賤者，引繩人也」。
然而就我們目前所知，這些階級區別不過全都是人類想像的產品罷了。不管是婆羅門還是首陀羅，都不是諸神從某個原人的不同身體器官所創造出來的。這兩個種姓階級的區別，不過就是大約3000年前在印度北部由人類自己發明創造的一套法律和規範。而亞里士多德的講法也有問題，奴隸和自由人之間並沒有已知的生物學差異。一切都是因為人類的法律和規範，才讓某些人變成奴隸，某些人變成主人。至於黑人和白人之間，雖然有例如皮膚顏色和毛髮類型之類的客觀生物學差異，但沒有證據顯示這些差異會影響到智力或道德觀。
大多數人都會認為只有自己社會的階級是自然的，而其他社會的階級分法都實在是虛假又荒謬。現代的西方教育對種族階級制度嗤之以鼻，如果現在有法律禁止黑人住在白人小區、進入白人學校就讀或到白人醫院就醫，一定會引發軒然大波。但如果說的是貧富階級，有錢人住在獨立、豪華的住宅區，就讀專為有錢人提供的私立名校，能進到專為有錢人提供的高檔醫療機構，這一點對於許多美國和歐洲人來說，卻似乎再天經地義不過。但事實已經證明，大多數有錢人之所以有錢，只是因為他出生在有錢的家庭，而大多數窮人一輩子沒錢，也就只是因為他出生在貧窮的家庭而已。
但不幸的是，複雜的人類社會似乎就是需要這些由想像建構出來的階級制度和歧視。當然，各種階級制度的道德意義不一，某些社會的歧視也比其他社會更為嚴重或極端，但至少就目前學者研究，還沒有任何一個大型人類社會能真正免除歧視的情形。一次又一次，人類要讓社會有秩序的方法，就是會將成員分成各種想像出來的階級，像是上等人、平民和奴隸；白人和黑人；貴族和平民；婆羅門和首陀羅；又或是富人和窮人。所有這些階級，就是要讓某些人在法律上、政治上或社會上高人一等，從而規範了數百萬人的關係。
階級有其重要功能。有了階級之後，陌生人不用浪費時間和精力真正了解彼此，也能知道該如何對待對方。在蕭伯納（Bernard Shaw）的作品《賣花女》（，曾改編為電影《窈窕淑女》）中，希金斯（Henry Higgins）教授雖然不認識賣花女伊莉莎，但對兩人之間的關係拿捏卻是絲毫不需猶豫。原因就在於：他一聽到她講話，就知道她是個下層階級的人，幾乎可說是任他宰割——例如將她當作棋子，打賭可以把這個賣花女假扮成名媛淑女而不被看穿。至於如果是現代版的伊莉莎，花店小姐也得知道每天面對著來店的幾十個客人，該如何才能賣出一束又一束的玫瑰和劍蘭。她不可能有時間和精力做個完整的顧客身家調查，知道每個人的喜好如何，口袋又有多深。所以她得抓住某些「社交線索」，像是客人的衣著打扮、年齡、膚色（雖然這實在不太政治正確），來猜猜看這個客人究竟會是個大會計師，可能大手筆為母親生日買上一大把的長莖玫瑰，又或是個送貨小弟，只買得起一小把雛菊，想送給某個笑容甜美的櫃檯小姐。
當然，天生自然的能力也很可能影響社會階級差異，但是種種不同的能力和性格常常還是會受到想像階級的影響。關於這一事實主要有兩大方面。第一，也是最重要的一點，就是大多數的能力也需要培養和發展。就算某個人天生就有某種才能，如果不經過積極培養、磨鍊和運用，常常也就沒什麼表現的機會。但這些機會絕非人人平等，常常都是要看他們在想像建構出的社會階級中身處何處而定。哈利·波特其實就是個很好的例子。他從小被迫與能力出色的巫師父母分離，而由對巫術一無所知的麻瓜帶大，所以等他到了霍格華茲的時候，對巫術可以說是一竅不通。於是，他的故事整整寫了七本書，他才真正掌握了這項獨特才能的力量和知識。
第二，就算身處不同階級的人發展出了完全一樣的能力，因為他們面對的遊戲規則不同，最後結果也可能天差地別。舉例來說，假設是在英國統治下的印度，有四個人都有完全相同的商業頭腦，但四個人分別是穢多、婆羅門、天主教愛爾蘭人和新教英國人，他們致富的概率就仍然大不相同。這場經濟的遊戲，其實早就被種種法律限制和潛規則束縛住了手腳，根本不知道公平在哪裡。
雖然說所有社會的背後都是由想像建構出來的秩序，但種種秩序卻又各有不同。這些差異的原因為何？傳統的印度社會是用種姓制度來分階級，土耳其人用宗教，美國用種族，但為何如此？這些階級制度開始時多半只是因為歷史上的偶發意外，但部分群體取得既得利益之後，世世代代不斷加以延續改良，才形成現在的樣子。
例如許多學者推測，印度種姓制度成形的時間是在大約3000年前，印度–雅利安人（Indo-Aryan）入侵印度、征服當地居民。入侵者建立了階級森嚴的社會，可想而知，他們自己占的是