奧古斯丁的一生期間，正是羅馬帝國迅速衰落的時期。奧古斯丁的思想便是在羅馬帝國的「偉大文明破碎之際醞釀而成的」。公元410年，就在基督教上升為國教以後不久，羅馬城在艾拉瑞克所率的哥特人的攻打下淪陷了。這一事件使羅馬人日益高漲的基督教情緒受到了沉重打擊。異教徒們乘機大肆攻擊基督教，他們說，在信奉朱比特時，羅馬一直保持著強盛；但現在皇帝們都改信耶穌基督了，所以朱比特不再保護羅馬人了。因此基督教要對羅馬城的悲劇負責。
為了駁斥這種指責，為基督教做辯護，奧古斯丁從公元412年開始，持續花了15年時間，專門寫就了他最著名的著作《上帝之城》。
奧古斯丁指出，羅馬在成為基督教國家之前，並非從未受過苦難，在基督教成為國教以前的時代甚至發生過更壞的事情。羅馬從高盧人的入侵和內戰中所遭受的苦難，不但與哥特人帶來的苦難不相上下，甚至有過之而無不及。
他說，異教徒經常把災難歸咎於基督教。可是，由於蠻族哥特人也信奉基督教，他們是尊重教會的，因此許多異教徒在羅馬被劫掠期間跑進教會中去避難。
他還說，基督徒如果有德行的話，即使忍受苦難也是快樂的，康士坦丁和狄奧多西二位皇帝就相當幸福。因為對聖徒來說，丟掉了現世的東西，並不意味著丟掉任何有價值的東西。即使他們死後得不到埋葬，也是無關緊要的，因為貪婪的野獸並不能阻撓肉體的復活。基督教無需為羅馬的遭劫而煩惱，儘管羅馬城毀了，但另一座新城——「上帝之城」卻在壯大，大公教會就是這座新城的世俗影子。
「上帝之城」的說法本來源於聖經。奧古斯丁認為，天下萬國，雖宗教與風俗各異，言語、武器、衣冠不同，然而人類只有兩個大團體，若照聖經上的話，我們可稱之為兩個城：
一個是世俗之城，由願意依肉慾生活的人組成，他們的精神背離上帝從而為朽壞的肉慾所奴役，他們愛自己以至輕視上帝，他們註定要毀滅；而另一個是上帝之城，由願意依精神生活的人組成，他們的精神服從上帝從而能夠支配肉慾的生活，他們愛上帝以至輕看自己，他們終將成為上帝的選民而得救。可見，奧古斯丁關於上帝之城與世俗之城的劃分不是空間或地理意義上的，而是用它們代指有著不同追求的社會團體。
相對於人類社會的歷史現實來說，上帝之城在人類社會的歷史現實中不是獨立存在的社會實體。因為連教會也只是上帝之城的象徵，而不是上帝之城本身。然而，奧古斯丁又認為，上帝之城確實曾經獨立存在過，以後也還將獨立存在，只不過那是塵世之外的事情，即魔鬼犯罪前的「天使之城」和末世審判後的未來天國。他認為，人類的歷史就是上帝之城戰勝世俗之城的歷史。
奧古斯丁在書中強調了教會與國家的分離，他認為，國家唯有在一切有關宗教的事務方面服從教會，才能成為上帝之城的一部分。後來的神學家們就把奧古斯丁的這一理論，解釋為教會幹預政治，教權高於王權。因此在整個中世紀，特別是在教會對世俗諸侯的鬥爭中，這部書曾產生過巨大影響。而奧古斯丁關於世俗之城與上帝之城的論說，直到今天仍然給許多人的靈魂以深沉的感召和震撼。