日本雖然成功抗擊了元軍的入侵，但自建立之日起便內亂不斷的幕府又迎來了新危機。武士、寺院、神社沒有哪一方滿足於幕府所給予他們的封賞，而北條時宗也借著戰爭勝利的契機繼續蠶食著幕府的一切權力。北條氏的直系家臣御內人成為了決定性政治力量之一，使得大量普通御家人愈發不滿。1284年11月，新執權北條貞時的岳父安達泰盛便與御內人代表平賴綱發生了武裝衝突，最終安達泰盛一門遭到剷除。不過平賴綱的勢力卻也沒有長久，很快便在1293年被北條貞時本人下令滅門。
到1318年，皇室中又出現了一位以31歲壯年登基的後醍醐天皇，並終於在1324年發動了武裝倒幕行動，但很快即被幕府剿平，後醍醐天皇被廢，幕府另立其子為光嚴天皇。不過到了1332年，後醍醐天皇的另一位兒子護良親王和一位惡黨出身的武士首領楠木正成在近畿地區再次掀起倒幕行動。後醍醐也從流放地逃到了山陰道的出雲國，大量招募自鎌倉幕府建立以來便被排除在核心政治圈以外的西國武士。1333年4月，清和源氏後裔足利高氏突然在受命討伐後醍醐時背叛幕府，另一位幕府軍將領新田義貞也在5月8日宣布反對幕府，並開始直接向鎌倉進軍，半個月後便攻陷鎌倉，迫使執權北條高時自殺，為鎌倉幕府的統治划上了句號。6月4日，後醍醐天皇在楠木正成的7000人沿路拜詰下重返京都，足利高氏受天皇賜予「尊」字而改名足利尊氏，光嚴天皇則被後醍醐下詔廢除。
到了此時，後醍醐天皇似乎已經站在了恢複皇權統治的門檻上，但武士們對於皇權統治的厭惡卻阻止著這一目的的達成。1335年7月，北條高時之子北條時行重新回到鎌倉，斬殺了征夷大將軍護良親王。足利尊氏借用這一機會進入鎌倉，很快便將北條氏擊敗，而他本人則取代北條氏成為了武士領袖。
當年年底，後醍醐天皇拒絕了足利尊氏重建幕府的要求，並命令新田義貞進攻鎌倉。但武士們，尤其是關東地區的武士們卻並不願意看到皇權復辟，因而紛紛加入了足利尊氏一方，使後者很快便擊潰了天皇軍，並在1335年12月11日攻入京都，但卻很快又被尊皇派趕出了京都，不得不一路逃到了九州，去尋求那裡的源氏後裔保護。
不過到了1336年的5月，足利又重新進入了近畿，並在5月25日的湊川會戰中擊敗楠木正成。足利尊氏回到京都，擁立豐仁親王為光明天皇。不過直到當年11月，後醍醐天皇才被迫退位。而且後者很快便逃亡到了奈良附近的吉野，建立了與京都朝廷對立的南部朝廷。京都朝廷和吉野朝廷之間的戰爭——也就是所謂的日本南北朝戰爭，一直持續了半個多世紀才告結束。
然而戰爭時間被拖得如此之長卻並不能證明後醍醐天皇試圖建立集公卿與武士於一體的政治體系的可能性。武士們從來都不希望恢複皇室統治，一個由武士領導的日本才是保證自己利益的最好選擇。1338年，後醍醐天皇本人去世。到了1343年，南部朝廷只剩下吉野附近的一小片地區以及陸奧和九州的少量土地。而在這一年，足利尊氏終於被北朝封為征夷大將軍，並於同年11月在京都的室町建立了幕府。
對於在戰爭之中建立的室町幕府而言，足利尊氏的政治體系存在著一個致命弱點。與源賴朝將所有武士都納為自己的家臣不同，足利尊氏事實上只是各地武士的盟主，久久不能熄滅的戰火又使將軍無法削弱地方武士或守護的權力。因此幾乎是從建立之日起，室町幕府對各地的影響力便遠不如鎌倉幕府，導致日本在整個14世紀至16世紀之間戰亂不斷。
更糟糕的是，室町幕府內部也發生了嚴重的分裂。在建立初期，雖然足利尊氏名為征夷大將軍，但事實上弟弟足利直義也擁有著巨大的權力，二者之間的衝突甚至導致足利尊氏一度轉投南朝以獲得攻擊直義的借口，擊敗直義後才回到北朝，並最終在1352年2月毒殺了直義。
1358年，足利尊氏也因病去世了，足利義詮成為了新的將軍，四年後任命足利一族的斯波義將為執事，事實上就是執權一職的翻版。不過這一任命卻遭到了權力逐漸膨脹的守護們強烈反對，義詮只好收回成命。到第三代將軍足利義滿繼任時，執事又變成了管領，擔任這個職務的細川賴之卻還是因守護們對幕府施加壓力而被流放。管領一職雖然依舊存在，但根本沒有任何權力。
不過足利義滿卻是一位有著巨大決心的將軍。細川賴之被流放後，義滿開始了此前僅有源賴朝和足利尊氏實行過的將軍親政統治。到1392年，南北朝終於統一，戰爭的結束也使足利義滿終於得以著手削弱守護的權力。其手段則是將管領制度一直擴展到全國各地，在關東、陸奧、九州等地分別設置管領，並給予管領制約守護的權力。在此期間，細川賴之重新成為幕府管領。到擁有多達11國守護頭銜的山名氏發生內訌之時，足利義滿巧妙地施展手腕削弱了山名氏，最終使其領國減少到了3個。在此之後，九州、關東等地的守護暴亂也終於逐漸平息了下來。
1394年，足利義滿被朝廷任命為太政大臣，同年12月將將軍職務讓給了兒子足利義持，翌年又辭去了太政大臣，剃度出家。不過他並沒有退出政治舞台，反而採取了與法皇相同的裝束，凌駕於幕府和朝廷之上，甚至還在1397年接受了明朝冊封的日本國王尊號。他的所作所為已經脫離了武士範疇，試圖採取另立朝廷，以明朝屬國之主，而非武士領袖的身份來統治全國。其原因也是顯而易見的，即使到了此時，幕府本身在法理上也只能對武家進行統治，只有跳出這一模式，足利義滿才能將公家和朝廷也完全掌握在手中。
1408年足利義滿死後，足利義持卻無力將幕府的直接統治維持下去。到二十年後，守護的勢力甚至已經擴大到了足以影響將軍繼承人選的地步。而隨著權力的擴大，守護也開始被稱為大名，即擁有大片土地的領主。到了此時，守護已經不再是鎌倉時代的地方軍政官員，而成為真正的一方諸侯了，甚至於管領們自己也成為了大名。
到足利義持死後，室町幕府又因斷嗣再次爆發大規模動亂。最終由神社抽籤選出的新將軍足利義教和主持關東政務的鎌倉公方足利持氏之間的戰爭一直持續到了1439年才以後者自殺宣告結束。不久之後，足利義教又被刺殺，緊接著守護們擁立足利冬氏為將軍，與幕府擁立的足利義勝發生戰鬥。最終足利冬氏族也在山名氏、細川氏等大名攻打下失敗自殺。在這場戰爭之中，將軍的權力已經喪失到了如此的地步，以至於在這些戰爭中，幕府已經無力先將失敗者的土地收回後再封賞給家臣，只能任由勝利一方的大名自由佔領失敗者的土地。
1464年12月，無嗣的將軍足利義政將弟弟足利義尋收做養子，並將其交給細川勝元輔佐。但不久之後，義政的夫人為其生下了足利義尚，義政取消了原先的成命，改立足利義尚為繼承人。由於擔心實力雄厚的細川家從中作梗，他又命令另一位大名山名宗全保護足利義尚。這最終在1467年引發了應仁之亂，以細川氏為首的東部大名和以山名氏、大內氏為首的西部大名在京都爆發了長達11年的混戰，雙方各自擁立足利義尋和足利義政，如同南北朝時的兩個朝廷一樣分裂成了兩個幕府。直到細川勝元和山明宗全雙雙去世後，雙方才在1474年簽訂和約，統一由足利義尚擔任將軍。
不過到了此時，各地大名們對幕府權力的更迭也已不再關心了。將軍對地方統治已經有名無實，幕府權力鬥爭無論如何激烈，其實際意義也僅限於近畿內部。1491年，駿河守護今川氏麾下的伊勢宗瑞突然襲擊了伊豆地區，迫使當地的幕府公方足利茶茶丸自殺，日本的戰國時代正式拉開了帷幕。各大名之間開始互相攻打，原先由幕府任命的守護大名以及在暴亂和糾紛中自立的新興戰國大名把領地內的武士收為家臣，幕府和皇室一樣被完全架空了。與此同時，各地被稱為「一揆」的農民暴動又加重了這些混亂。到16世紀30年代，幕府甚至連近畿地區也已經控制不住了。幕府或者皇室的命令，已經完全淪為大名們玩弄權術的工具。
自從擊敗蒙古遠征以來，日本的戰場秩序也發生了變化。在那之前，武士是依靠騎射來射殺特定目標的，足輕的作用只是為其提供一定掩護。日本人在博多海灘上見識了蒙古步兵弓箭齊射的威力後，很快便學會了這一戰術。不過這一工作並不由武士擔任，而是被交給了數量龐大的足輕，使後者也成為了戰場上重要的一員。1348年高師直指揮部隊向南朝發動進攻時，佐佐木道譽率領的2000名戰鬥人員中便擁有800名足輕弓箭手。大部分騎馬武士則開始學習蒙古重騎兵使用的衝擊戰術，使用長槍等白刃戰武器以相對密集的隊列向對方發動衝鋒。對於此時軍隊秩序仍然比較差的步兵而言，這種衝鋒往往是致命的。
不過到15世紀末為止，雖然足輕在戰場上已經不再是完全的鼠輩，但大名及其家臣招募他們的