1980年代初，伯格法院逐漸運轉不暢。伯格的管理風格，令布萊克門惱怒不已，甚至懶得掩飾內心不滿。這種緊張關係，其實已醞釀多年。1970年代末，布萊克門私下接受過斯科特·阿姆斯特朗兩次採訪，阿姆斯特朗後來與鮑勃·伍德沃德共同撰寫了《最高法院弟兄們》(The Brethren)一書。這本暢銷書剛一上市，就引起很大爭議，因為它嚴厲批評了伯格的領導能力，把首席大法官氣得暴跳如雷。布萊克門私下還曾批准兩名已離任的法官助理與阿姆斯特朗、伍德沃德談話。他從未告訴過其他大法官，自己與記者有過合作，雖然已不止一位大法官對記者敞開大門，傾囊相告。
很顯然，布萊克門並不是最高法院內部惟一一位被伯格激怒的成員。許多問題已是陳年舊賬。1975年6月，臨近開庭期末，仍有幾起民權、刑事案件久拖未判。威廉·倫奎斯特給伯格寫了一封信，並將複本抄送其他大法官。他用略帶點兒文學氣息的筆法，委婉表達了對伯格處理最高法院內部事務方式的不滿。
親愛的首席：今天的會議結束前，我突然想到，詩人馬修·阿諾德《多佛海灘》(Dover Beach)一詩的收尾之句，頗適合形容我院現狀。「爭鬥、逃亡、惶恐、紛亂/愚昧之軍正抵死夜戰。」在此，我能否建議，下周一早上，當庭審結束後，我們能否儘快討論我們今天，或者上周，甚至下周亟待解決的案件。
1981至1982年開庭期，最高法院大法官們被「移民歸化署訴查德哈案」(Immigration and Naturalization Service v.Chadha)拖得筋疲力盡。這起案件最終證明，伯格在最高法院的領導地位正逐步崩解，經歷了多年或明或暗的摩擦之後，布萊克門與伯格之間的衝突終於爆發。
賈迪希·奈·查德哈是一名肯亞公民，在美國逗留的時間，已超過他持有的學生簽證所允許的範圍。1974年，移民歸化署經過聽證，認為這種情況下，應當把他驅逐出境。不過，根據當時的聯邦移民法，只要相關外國公民「品行良好」且驅逐行為將使他們陷人「極端困境」司法部長有權寬大處理，中止驅逐出境。查德哈正好滿足上述條件，不僅被暫緩驅逐出境，還得到了申請永久居留權的機會。但是，他還有一項更大的困難要克服。因為美國國會在移民法中附帶了一條「立法否決權」（legislative veto)條款，參眾兩院任何一票，都可以撤銷司法部長中止驅逐出境的決定。1975年末，眾議院否決了司法部長中止驅逐查德哈的決定，因為眾議院司法委員會附設移民委員會審查了340起類似案件，從中選出包括查德哈案在內的5起案件，認為他們沒有提供足夠證據，證明自己有可能陷人「極端困境」。
查德哈因此必須在第二年被驅逐出境，他被迫提起訴訟，質疑國會插手此事的合法性。他提出，憲法只賦予國會一條執行立法許可權的途徑：兩院通過法案，提交總統批准或否決。在憲政體制下，壓根兒沒什麼「立法否決權」聯邦上訴法院支持了他的訴求，宣布「立法否決權」違反了憲法分權原則。
這起案件並未受到廣大民眾的關注，卻給政府內部帶來了一個至關重要的難題。1932年以來，國會已將「立法否決權」綁定在200多部法律中，有些事項需要兩院同時批准方可過關，也有一些事項，就像查德哈這樣的情況，一院即可否決。政治學學者們早就注意到這個問題，一直等著看好戲。不過，此案發生前，只有學術界對此議題感興趣。很顯然，國會是想藉機擴張權力。更過分的是，「立法否決權」給了說客和特殊利益集團一個非常重要的機會，使他們能在行政決定做出後，繼續對政府決策施加影響。比如，只需兩院中任何一票，即可撤銷行政部門的天然氣定價決議。而如果兩院同時說「不」一項國際貿易法規將立刻流產。
1981年開庭期伊始，大法官們決定受理「查德哈案」對布萊克門來說，答案很簡單：「立法否決權」違憲，至於判決將帶來什麼樣的政治衝擊，不在最高法院的考慮範疇之內。但是，最高法院處理這起案件的方式當然不能如此簡單。儘管外界熱切期盼判決結果，但最高法院用了20多個月，才擺平內部紛爭。
1982年2月，庭審之後舉行的內部會議上，發生了激烈爭論。倫奎斯特認為，最高法院根本就不該受理這類案件，審理這樣的案子簡直是一場「不幸的災難」他認為，如果廢止「立法否決權」將嚴重「損害政府的實際運轉」馬歇爾則提出，「早就該挑戰這類規定了」國會否決司法部長的決定，行使的是法官權力，「憲法壓根沒有賦予國會這樣的許可權」伯格沒說太多話，只強調這起案件確實棘手，也非常重要。他沒有就如何投票表態。根據布萊克門的統計，同意維持上訴法院判決的有5票：他本人，以及馬歇爾、布倫南、鮑威爾和斯蒂文斯。會議結束時，沒有人被指派撰寫多數意見。
麻煩在第二天就出現了，2月25日，鮑威爾傳給伯格一份備忘錄，複本抄送給其他大法官。「我和您一樣關心一院否決事宜，」他說，「行政分支和立法分支已與這類許可權和平共存了數十年。即使偶爾會令人感覺不適。如果能以某種原則性的方式迴避這項議題。我會很歡迎這麼做。無論如何，這項議題對國家非常重要，值得深入討論。」
布倫南迅速作出回應，認為應當儘快下判，「解決行政分支與國會之間，圍繞『立法否決權』條款持續多年的爭議」但是，鮑威爾可沒那麼容易被搞定。3月9日，他將另一份備忘錄提交大家傳閱，上面說：「進一步思考這起惱人的案件後，我傾向於重新審議一次。」他建議，最高法院重議「查德哈案」時，可以結合上訴法院剛剛作出的另一起判決，在這起案件中，法院宣布對天然氣定價協議的一票否決無效。鮑威爾認為：「諸如這類關係到我們政府基本架構的案件，值得花上更多時間深入思考，也有利於解決其他類似案件。」
布萊克門的法官助理高洪柱建議他不要讓鮑威爾得逞。高洪柱向布萊克門提交了一份5頁紙的備忘錄，備忘錄分析了這起案件的處理思路。布萊克門簡單作了修改，將備忘錄報送給首席大法官。布萊克門強調，這起案件的核心在於，查德哈身份不明的狀態已持續了9年，他說：「我們應該儘快作出決定，給他和政府一個交代。」
伯格建議在3月13日（周六）召開一次特別會議，這相當於採納了鮑威爾重議此案的提議。重議案件的動議，必須得到五位大法官同意方可通過。之所以作此規定，是為防止少數人藉機拖延判決。布倫南反對召開特別會議，他特別指出，最高法院壓根兒沒把鮑威爾提到的那起上訴案件提上議事日程，所謂更進一步地討論，「完全是浪費我的時間」布倫南認為，最高法院議完之後，就該直接下判。斯蒂文斯也覺得沒有必要討論兩次。不過，倫奎斯特、奧康納和懷特都支持重議，但懷特說他周六很忙，沒時間出席。伯格只好取消了特別會議。
周一，首席大法官將一份備忘錄交大家傳閱：「我們第一次開會審議此案時，我就提到過，這起案件非常棘手，將耗費我們大量時間。所以，我才認為進一步的討論或許有助於儘快審結此案。雖然有五六位大法官貌似有了明確想法，但截至現在，我還沒弄清他們的立場。」他又補充說：「我很難理解，大家為什麼覺得這起案件有時間上的壓力呢？」他決定將此案延至下一開庭期再議。
事實上，是伯格本人退縮了。他的風格與過去相比，已發生很大變化。以前，他會像在「巴基案」中一樣，先發制人，將自己撰寫的意見提前交大家傳閱。而現在，他明顯有點兒力不從心了。他根本就不具備領導最高法院的能力，十年來最重要的一起案件，就這麼不了了之。兩個月後，臨近開庭期終了，伯格將擬宣判的案件列表交大家傳閱。6月25日，布萊克門給伯格送去一份備忘錄，提醒他列表上遺漏了「查德哈案」布萊克門指出，迄今為止，大家還沒有就是否重議此案正式投過票。他說：「我希望公開記錄顯示我是反對這件事的。」
伯格當天回覆：「會議上已經有5票同意延遲下判，但我不確定這算不算什麼『正式』或『最終』投票。大家都清楚此案不可能那麼快審結。你應該還記得，我已經建議召開特別會議討論了，可壓根就沒人理會。」
最高法院的這些內部紛爭，外界自然無從知曉。1982年7月2日，本開庭期最後一天，所有人都以為「查德哈案」會在這天宣判。但是，當天宣判的，並沒有這起案件。稍後公布的待審案件表上，宣布「查德哈案」「延期再議」「布倫南和布萊克門表示異議」
1982年12月，大法官們重議「查德哈案」這一次終於形成決定性投票：7票對2票，多數大法官判定「立法否決權」違憲，只有懷特、倫奎斯特表示異議。儘管鮑威爾對「50年後才觸及這一議題表示遺憾」但他還是加入了多數意見。伯