唐紹儀雖然是袁世凱的老朋友，但他受到北洋系軍人的排擠，前面已經提到過。自唐正式就任內閣總理後，很有意依照《約法》規定，成為責任內閣，這一來更給反唐的人一個借口，乃愈發在袁面前攻擊唐，說唐挾革命黨以自重，有獨樹一幟之意。唐也聽到了這種閑言閑語，但以為袁大約不會被這種沒有見識的人所蒙蔽。可是有一天唐在袁面前說出自己一些對政策的看法時，袁忽然很不耐煩地說：「少川，我已經老了，你就來做總統吧！」這突如其來的話，使得唐大吃一驚，才明白袁的確已對他有了芥蒂。
唐想實踐責任內閣的願望，首先便被內務總長趙秉鈞所破壞。趙從來不出席國務院會議，他凡遇重大問題都直接向袁表示，根本不把總理放在眼內，而內務部也像一個不屬於內閣而直接承總統命令的一個部了。除了內務部外，財政總長熊希齡也遇事制肘唐紹儀。
這要從財政困難說起，民國成立時最艱苦的，莫過於財政問題，僅北京一地，每月需款就達350萬元。每月25日發餉時，當局中人一個個如熱鍋螞蟻。在那350萬元支出中，收入只有長蘆每月解款10萬，北方數省每月各解二三十萬，合共不到80萬元。至於全面支出方面：外交部217958元，內務部308950.162元，財政部5105954.732元，教育部112710.618元，陸軍部4534350.92元，海軍部232538.82元，司法部66250元，農林部46070元，工商部13700元，交通部41379.59元，合共需10679862.842元。加上每月積欠，以及拖欠應還未還外債，這個剛剛呱呱落地的中華民國，被債務已壓得氣也喘不過來了。
清朝末年列強曾組成了一個四國銀團，統一和壟斷了中國的借款，這個銀團是英美德法四國組成的，其後日俄兩國也參加。中國有識之士一直想打破這個財團的獨佔性，唐紹儀組閣時就決心要衝破這個「蛛網」，於是他徑行向比國財團簽約借1000萬鎊（南京臨時參議院只核准借500萬鎊）。這個借款合同簽訂後，四國銀團大嘩，一方面施外交壓力對袁政府，一方面用種種手段脅迫比國，使這個借款合同流產。脆弱的北京政府怎經得起這種國際壓力，因此唐紹儀面對銀行團的抗議，一方面表示歉意，一方面應承取消向比國借債合同。同時在民國元年5月3日與英美德法日五國銀團會議借款，銀團方面提出兩項約束，就是所有借款的支付需由銀團監督：（一）每月預算先列表，經外國顧問官核准才能給付；（二）所有軍隊遣散，須在北京設一陸軍協會，由外國武官會同商定辦法，在武昌、南京各重要處所執行遣散，並由外國武官會同監督。每一兵繳械後即發支票一紙，自往銀行取款。唐紹儀認為這兩項辦法有損中國主權，當場拒絕，結果借款會議遂不歡而散。唐於會後召集國務院會議，報告經過，主張放棄借外債，自行強迫公債，找1000個中國富翁各買1萬元公債，如此一舉便有1000萬元了。蔡元培則認為革命士兵可以曉以大義，不必付款即可解散。宋教仁則認為當前情勢非借款不可，只好委曲求全。其他國務員多同意宋主張，於是商定一個轉圜辦法，由財政總長熊希齡自行擔負從頭磋商的責任，並由袁世凱先約銀行團作為給銀行團面子，然後才由熊出面。唐對此頗抱悲觀，熊認為不妨一式，同時計畫整頓鹽政，預計每年可以增加8000萬兩，以此應付外債，足有餘裕，甚至可由洋人派一鹽政顧問以資監督。
熊希齡獨任借款的交涉後，中國借款問題便先後在倫敦和巴黎先由銀行團談原則，最後獲得結果是六國銀團對中國大借款，條件如下：（一）大借款總額為六萬萬兩；（二）六萬萬兩分五年陸續支出；（三）大借款以滙豐（英）、德華（德）、道勝（俄）、匯理（法）、正金（日本）、花旗（美）六家銀行為代表；（四）借款用途之監督以五銀行之許可權行之；（五）對於作抵之鹽稅，當以現在之關稅制度整理鹽政，並代為徵收鹽稅。
當中國和六國銀團正在洽商大借款時，中國政府於6月20日函銀行團，希望先墊付300萬作為緊急支付。六國銀行本不欲先處理枝節問題，但中國方面堅持要先解決小額墊款，於是由英美德法四國承允墊借300萬，不過這300萬兩墊款開支時，須照監視開支暫時墊款章程辦理。其章程是：（一）在財政部附近設立核計處，用核計員二人，一人由銀行團任用給薪，一人由中國政府任用給薪。（二）凡向銀行團提款撥款之一切支票，須經該核計員籤押。（三）中國財政部應將各項支付用途，預具說帖，送交銀行團核允，此項說帖先須經由參議院核准之後，同時刊登官報。每次開支時財政部備具應有詳細清單說帖等類送交核計員，以資查核。該核計員查對無誤，應即照章簽字支單，不得再問。（四）每次開支款項，均須具詳細領款憑單，按照新式簿記法辦理。此項憑單財政部須編訂存留，以備核計員在核計處稽核。（五）關於各省發給軍餉及遣散軍隊費用，須由該地方軍政府備三聯清單，由中央政府委派高等軍官，及該地方關稅司會同籤押，並須予該軍官、稅司以調查應需之便利。此項籤押之四聯清單，一份存該省都督府，一份存陸軍部，其餘一份與領款憑單一同送交北京財政部，再由該部遂交核計處稽核。（六）預備支付之款應由稅務司存儲，為節省匯費起見，由中央政府令地方稅務司得由海關收入項下撥款，但須該核計員等由暫時墊款項下，照所撥關稅數目支出，匯存上海總稅司存款項下。（七）如在北京及其附近發放軍餉，或遣散部隊，由中央政府派一高等軍官會同該核計員，將三聯領餉清單查核籤押，並予該軍官核計員統以監查應需之便利。墊款處銀行團方面的核計員是德人藍朴（Lamp），他曾於庚子八國聯軍入京時，在天津都統衙門充任財政處長，對北中國財務情況很熟悉。中國方面的核計員是徐恩元，曾在歐洲留學，自擔任這個工作，常和洋人嘔氣，不久且吐血。代理徐的是李方，曾在前郵傳部和大理院做過事，英語比普通英國人還講得好，中文則甚差。
黃興和熊希齡都是湖南老鄉，兩人本來感情很好。黃擔任南京留守，熊任財政總長，黃這個職務處處需要錢，要錢當然是向財政部要，熊也儘力幫黃的忙，這是熊在主持借外債以前的事。待熊主持和銀行團借款時，熊和唐紹儀已發生了許多不愉快，而黃也正式宣布反對借款。熊認為借款主要為了裁軍，裁軍工作大部分在黃手上，等於是為黃奔走，卻得不到黃的支持與同情，相反地黃竟力加反對，於是二人便在電報上往複攻訐，惡言相向。黃與熊來往的幾則重要電訊如下：
黃致唐、熊索款救急電：「此間經濟已告罄……奇窘之狀幾於不敢告人，不但各軍積欠餉項無從發給，即目前伙食已無術支持……似此情形，一兩日內必有絕大險象……請立撥百萬元以救眉急……」再電告急：「……此間軍隊伙食已數日不能發給，今日有數處竟日僅一粥，每日索餉者門為之塞，危險情形日逼一日，嘩潰之勢已漸發端，二日內倘再無款救寧，大亂立至，危在旦夕，用敢密陳，無任迫切待命之至。」
黃反對借款公開電：「蔣次長來寧，聞悉十七日銀行團與熊總長所訂墊款已經簽字之合同，及監視開支暫時墊款章程，不勝駭異……此種章程匪獨監督財政，並直接監督軍隊。軍隊為國防之命脈，今竟允外人干涉至此，無異束手待斃。二十年來海內各志士赴湯蹈火，粉身碎骨，所辛苦締造之民國，竟一旦斷送於區區四百萬之墊款，吾輩一息尚存，心猶未死，誓不承認。熊希齡身負重任，竟敢違法專斷，先行簽約，悍然不顧，此而可忍，孰不可忍！聞章程已提交參議院核議，祈痛加駁斥，責令毀約……即本留守直轄各軍隊欠餉已久，危迫萬狀，均不甘受此亡國滅種之借款，為飲鴆止渴之圖……此舉關係存亡，即乞貴處速電抗拒，責令毀約，無任企禱。」
黃再電中央及各省：「……現在借款一事愈出愈奇，名為磋商，實甘愚弄，財政、軍政均受監督，國權喪盡，生命隨之，故睹此次墊款合同及監視開支章程而不痛心疾首者，非人也。……」
黃興除了反對向外借款，主張立即毀約而外，同時發動籌募國民捐，並將軍隊欠餉酌換公債票，由各省自行集合人民資本，以組織國民銀行，並由國民銀行協力組成一個國民銀行公司。此外雲南都督蔡鍔提議舉辦愛國公債，且在雲南首先開辦。南方各省則紛紛附和黃興、蔡鍔主張，風雲景從，響應熱烈。
黃致熊電：「公對銀行團要求既甚憤懣，又雲取消極易，應諸立即取消。總之此次約由公訂，必由公毀，毀約非借約比，與參議院無關，公前電曾以此自任……所謂撥歸南方一百五十萬，只為財政部收回軍用鈔票，實無一錢及寧，繼以空言搪塞，不知全國命脈握公一手，若再猶豫，禍且立至，興交代在即，責任屬公，能擔負否？……」
黃再致熊電：「現在大局危迫，間不容髮，吾輩均以國家為前提，於個人關係絕不稍存意