在隆祐太后未到南京之前，宋高宗按照與三名執政的事先商議，對李綱說：「秋高氣爽，須預防金人入寇。朕意以為，可迎奉太后及六宮前去東南，朕當與卿留中原。」皇帝的話其實帶有試探和逐步轉彎的性質。李綱說：「陛下聖慮，願獨留中原，以繫人心，乃是社稷之福。臣雖不才，願為陛下草詔，昭示天下。」圍繞著金軍可能在秋冬大舉進犯，朝廷百官早已議論紛紜，大多數人都主張逃避東南。宋高宗和黃潛善、汪伯彥等的商議，其實也已洩漏外傳。李綱在皇帝面前卻又不能說穿，他希望通過一紙詔書，以正視聽。宋高宗一時也無可奈何，讓李綱起草，李綱援筆立就，呈送皇帝，宋高宗看到其中「朕與群臣、將士，獨留中原，親督六師，以援京城及河北、河東諸路，與之決戰」一句，不免皺起眉頭，卻又只能勉強地說：「便依卿之所擬。」
隆祐太后到南京只有兩天，李綱照例在閣子裡等待奏對，有閣門官員向他呈送宋高宗的手詔，李綱只見手詔說：「京師未可往，朕當巡幸東南，為避敵之計，俟來春還闕。可令三省、樞密院條具合行事件。」就急忙隨閣門官員進入瑞應殿。
宋高宗改變他與執政的商議，在隆祐太后南下之前，就迫不及待，先下手詔，表明他已下定決心，要排除李綱的阻撓。他端坐在殿內，等待著一場勢不可免的君臣辯論。李綱跪拜禮畢，就捧著手詔，放在御案之上，嚴肅地說：「人君發號施令，如人出汗，而不可反汗。陛下既已降詔，獨留中原，人心悅服，豈可詔墨未乾，而失大信於天下？」宋高宗說：「國事須從權達變，朕終夜思慮，虜勢盛強，豈可留在中原，蹈淵聖底覆轍。」
李綱說：「陛下不願為淵聖，臣亦豈願為何栗。自古中興之主，奮起西北，則足以據中原，而佔有東南；起於東南，卻不能恢復中原，而佔有西北。其故無他，天下底精兵健馬，皆在西北。臣亦是東南人，所以力勸陛下，只為若是逃避東南，只恐大宋無以立國，陛下亦不得在東南高枕而臥。」宋高宗說：「御營之師，只恐難勝金虜。」李綱說：「與虜人角勝負，全在三軍之勇怯，而三軍之勇怯，又繫於陛下之進退。陛下底御營軍，乃是各地抽摘底精兵，豈有聚集御營軍十萬，而畏懼金虜之理。陛下巡幸東南，卻是將十萬大軍置於無用之地。東南水土卑濕，不利西北士馬，人所共知。臣與宗澤力勸陛下回東京，便是以天子之勇，鼓舞三軍之勇。借使金虜深入，臣當與宗澤邀截掩擊，力挫虜人兵鋒。若一意退避，不思擊敗來犯之敵，大宋又何以自尊自強？陛下又何以徐謀恢復，迎還二聖，為中興之主？」
任憑李綱如何苦口婆心，千言萬語，反覆規勸，宋高宗卻一口咬定：「朕只是不去東京，亦不留南京，而決計巡幸東南。」李綱萬般無奈，只好不得已而求其次，說：「臣以為鄧州是古之南陽，為漢光武龍興之地，城高土厚，可屯重兵。西鄰關陝，可得勁軍，北近京畿，可遣援師，南通巴蜀，可取貨財，東達江淮，可運穀粟。陛下若去鄧州，可使天下軍民知陛下不忍棄中原，而隨時增援京城與兩河，以備與敵決戰。」他甚至不提原擬作為南都的襄陽府，而只提位於襄陽府北約一百八十宋里的鄧州，也是用心良苦。宋高宗十分勉強地說：「便如卿底計議。」李綱說：「臣敢請陛下收取巡幸手詔，以免挫傷天下抗金志士底銳氣。」宋高宗立即將御案上的手詔撕個粉碎，藉以發洩自己的慍怒。
李綱完全覺察到皇帝的神色，但事已至此，再無退讓的餘地，他用最懇切的語調說：「臣非不知外論洶洶，黃、汪二相公對人宣揚，言道陛下東南巡幸之計已定。然而國家興敗存亡，亦在此一舉，臣愚豈可計較升沉榮辱，而不在御榻之前力爭？」他望著在皇帝身邊侍立的康履和馮益，又說：「右正言鄧肅上奏，言道兩個內侍在開封以拆洗女童為名，搜求美女，騷擾民間，有累聖德。」他的話沒有直接批評皇帝，而宋高宗的臉色立時變得十分尷尬和難堪，他雖然好色，卻又最忌諱負好色之名，李綱的話深深地刺痛了皇帝。李綱並不因皇帝的臉色而中止諫諍，他繼續用溫和而懇切的語氣說：「陛下與臣親歷宣和全盛之時，太上不能居安思危，後宮一萬，費用無極。如今陛下履艱難之運，正宜痛定思痛，以恭儉、憂勤之德，戒勖驕奢、淫佚之風。臣不勝至願，願陛下以大成之量，大有作為，為中興英主，輝耀史冊。」宋高宗還是保持沉默，李綱言有未盡，只能繼續口奏說：「本朝宦官之勢，莫盛於宣和之際，以宴安侈靡蠱惑上心，竊弄威權，敗壞國事，此乃是陛下所親見，臣言之痛心。伏望陛下引以為深戒，內侍有為非作惡底人，尤須嚴懲不貸。」
李綱奏事完畢，宋高宗只是尷尬地坐著，一言不發，這當然也使李綱感到難堪，他站立片刻，就告退下殿。李綱走後，宋高宗立即面帶惱羞成怒之色，拍案起立，高喊道：「李綱視朕如同孩童，無人臣禮！是可忍，孰不可忍！」李綱飽受儒家文化的熏陶，他的言行舉止，其實沒有一絲一毫脫離古代的臣規。但說也奇怪，宋高宗對待李綱，雖有君臣之分，卻一直有幾分畏怯的心理，他曾力圖剷除這種心理，認為君主必須樹立駕馭臣僚的權威，所以在初次朝見後，就取消了賜坐，但畏怯之意卻始終不能消除。他總覺得，朝中只要有李綱，自己就無法為所欲為。每逢有重大的政見分歧，爭辯的勝利者總是李綱。在宋高宗看來，巡幸東南是自己性命攸關的頭等大事，他原先拿定主意，絕不退讓，但經不住李綱的雄辯，最後還是忍痛讓步。李綱的苦心規勸，在宋高宗看來，是一場難堪的羞辱，但李綱不離開瑞應殿，他還是沒有發怒的勇氣。
宋高宗這種奇怪的心理狀態，早已被幾個親信的宦官揣摩得相當透徹。康履走到皇帝面前，裝出口欲言而囁嚅的模樣，宋高宗問：「康履，你待說甚麼？」康履說：「有祖宗家規，李相公又如此嚴責，小底豈敢亂道？」宋高宗說：「朕恕你無罪，只管說來。」康履說：「官家何不另命一個首相，以防權臣。」宋高宗興奮得拍案說：「此計甚妙！」當即寫了一份簡單的御筆：「李綱遷左相，黃潛善升右相，許翰為尚書右丞。」許翰已奉召到行在，奏對過一次，宋高宗認為，許翰既是李綱所薦，也應當給一個體面。御筆由曾擇送到學士院，規定連夜起草制詞，在下一天發表新命。
再說岳飛回營後，心情一直處在極度苦悶之中。他經過三夜思考，寫成了一份上皇帝書，私下請王貴、張憲和徐慶三人傳閱和商量。不料三人持一致的反對態度，張憲說：「國朝重視文士上書言事，自家們是武夫，便是上書，亦是無補國事。」王貴說：「主上巡幸大計已定，只恐李丞相亦自阻攔不得。岳五哥上書，豈但不能動搖朝廷大計，只恐王都統與張觀察怪罪。」原來張俊迎接隆祐太后和太廟神主到南京後，由都統制王淵疏通宦官，超升三官，為徐州觀察使。岳飛憤懣地說：「天下文武一體，為何重文輕武？早知如此，何須背刺『盡忠報國』，前來投軍？不如在鄉里廝守老母、妻、子，隨不試知州守衛故土相州。」他的話更勾起了其他三人的鄉思，張憲說：「我恨不能肋生肉翅，飛回相州！」張憲與高芸香新婚一別，思戀之情最苦。王貴嘆息說：「身在軍中不自由，自家們若是擅離，豈不成了逃軍？」按照宋朝的軍法，對逃軍的處分是很重的，可以斬首。徐慶說：「常言道，卜以決疑。自家們何不去龍興寺問卜？」王貴說：「營中不可無人，以備張觀察非時召喚。你們可去龍興寺，我且在此坐衙。」
岳飛等三人出城西軍營，前往龍興寺。龍興寺是應天府城內最繁鬧的商業區，類似於開封城中的相國寺，寺內有龍興塔，位於一座小土山上，是全城的最高點。龍興寺旁有一條小街，卜肆雲集，有相面、拆字、八卦、六壬、盲人揣骨聽聲之類。有的開一個店舖，招牌都競出新奇，如南京第一易課、泰來星、鑒三命、沈星堂、花字青等。有的只是沿街擺攤，不斷重複叫喊說：「時運來時，買莊田，取渾家。」以招攬顧客。
岳飛等三人牽馬前行，見到有一家卜肆，面街只立四根柱子，沒有牆體和門窗，下有一層石階，屋內有一張長方桌，其上鋪著紙墨筆硯，一位先生約四五十歲，端坐桌後，他的後面豎著三塊木牌，自右至左，分別寫有「神畫」、「預知」、「天命」六個大字。北宋後期有風靡一時的卦影，相傳是成都人費孝先的發明。算卦者為顧客作畫，並且題辭或詩，表述吉凶禍福。張憲說：「待我先問。」他將馬韁繩交給岳飛，進屋作揖，說：「請問先生尊姓高名？」那位先生起立答禮，說：「助教姓李，自號畫天機，太尉請坐。」張憲坐在長方桌的右側，說：「自家乃是御營司底將官，有一心事，特來問卜。」那個先生問道：「太尉有甚底心事？」張憲說：「先生既知天機，料事如神，小將底心事，自可測算。」那位先生見張憲不肯說出自己的心事，就盤問了姓名、出生年月、戶貫等情況，取出六壬，演繹片刻，最後畫了一張簡單的墨畫。畫上有一顆官印、一個太陽和一道水流。他提筆寫詩說：
「休道大江風浪惡，中興瑞靄遍揚州。