嘉靖三十三年，居正請告歸江陵，暫時脫離了政治生活。在這一年，俺答還是不斷地向大同進攻。東南方面，倭寇的侵擾更加積極。由太倉潰圍的殘賊，奪海船再入江北，大掠通州、海門、如皋這一帶，前鋒直到山東境上。江南一帶、海鹽、嘉興、嘉善、松江、嘉定，到處都是倭寇。總督浙福南畿軍務張經和巡撫浙江副都御史李天寵正在積極地堵御。到冬天，嚴嵩的義子趙文華上奏，倭寇猖獗，請禱祖東海，鎮壓暴寇。異想天開的對策，從專事齋醮的世宗看來，正是合理的策略。趙文華奉命南行，沿路騷擾，一面上疏彈劾張經，不肯辦賊。張經正在調兵殺敵，等到三十四年五月在王江涇大破倭寇，斬賊一千九百的時候，趙文華上疏的結果也揭開了。張經被逮入京，不久李天寵也被逮，十月間，二人棄市，附帶著楊繼盛也趁此被殺。彈劾嚴嵩的和不善伺候文華的，得到同樣的結果。這是當時的政治。東南方面和西北方面的敵人同時進攻，這是當時的情勢。這一個有抱負、有主張、有辦法的三十歲的青年，已經退出政治生活，在詩酒往還中消磨他的歲月。
居正《先考觀瀾公行略》，自稱「甲寅，不肖以病謝歸，前後山居者六年，有終焉之志」。六年指從嘉靖三十三年到三十八年為止，只是一個大概的計數。其實三十六年，居正已經銷假。《種蓮子戊午稿序》 稱「往甲寅，不佞以病謝歸」，又稱「丁巳，不佞再泰朝列」，可證。實際上三十三年至三十六年，居正整整度了三年的悠閑生活。三十七年便道歸家，大致三十八年仍回北京，連同以前的時期，稱為前後山居者六年。
敬修《文忠公行實》對於前期三年的生活，有以下的記載：
三十三年甲寅，遂上疏請告。既得歸，則卜築小湖山中，課家僮，插土編茅，築一室，僅三五椽，種竹半畝，養一癯鶴，終日閉關不啟，人無所得望見，唯令童子數人，事洒掃、煮茶洗葯。有時讀書，或棲神胎息，內視返觀。久之，既神氣日益壯，遂博極載籍，貫穿百氏，究心當世之務。蓋徒以為儒者當如是，其心固謂與泉石益宜，翛然無當世意矣。
周聖楷《張居正傳》亦稱「終日閉關不起，人無所得望見，久之，益博極載籍，通當世之務」，當然是根據敬修之言。《明史》本傳對於此節，完全略去。其實居正的生活，並不這樣恬淡。詩集、文集裡面，留下許多斷片，我們可以看出他怎樣消遣歲月。
在這個階段里，他有過許多的游宴，最後在三十五年游衡山，生活中有過不少的波瀾。但是最使他關心的還是整個的政局。《登懷庾樓》 有這幾句：
但恐濛汜夕，餘光不可留，風塵暗滄海，浮雲滿中州。目極心如惄，顧望但懷愁，且共恣嘯歌，身世徒悠悠。
這是熱中。居正對於整個的政局擱不下：自己沒有機會把握政權，但是眼看政權落在人家手裡，國家踏上不幸的命運，真是萬分的不甘。《修竹篇》 又說：
永願老煙霞，寧知勞歲移，
但畏伶倫子，截此凌霄枝，
裁鑿豈不貴，所患乖天姿。
亭皋霜露下，凄其卉草衰，
願以歲寒操，共君搖落時。
這好像是恬淡了，然而還是熱中。歷史上的政治家，常常在熱中的情緒上，蒙上一層難進易退的色彩。其實真真有抱負的人，用不到這樣地做作。長沮、桀溺耕田的時候，看到子路，桀溺只顧諷刺孔子，孔子悵然地說：「鳥獸不可與同群，吾非斯人之徒與而誰與？天下有道，丘不與易也。」他說既然是人，便得為人類謀幸福，孔子決然不肯和長沮、桀溺那樣做個辟 世之士。這是孔子的熱中。熱中不是一件不能告人的事，用不到諱飾。居正也是不容諱飾的熱中。他曾說起：「當嘉靖中年，商賈在位，貨財上流，百姓嗷嗷，莫必其命，比時景象，曾有異於漢、唐之末世乎？幸賴祖宗德澤深厚，民心愛戴已久，僅免危亡耳！ 」這是怎樣的景象！在這個時期，自負清流的君子們，也許只是優遊林下了，偏有不辭赴湯蹈火的人，縱在林下，還是不斷地悵念，他的熱中，還不值得後人同情嗎？
居正又有聞警一首 ：
初聞鐵騎近神州，殺氣遙傳薊北秋，
間道絕須嚴斥堠，清時那忍見氈裘。
臨戎虛負三關險，推觳誰當萬戶侯？
抱火寢薪非一日，病夫空切杞人憂。
三十四年九月，俺答犯大同、宣府，十二日後，進犯懷來，北京戒嚴，這首詩大致指此。國家已經亂到這個地步了：皇帝在那裡齋戒禱告，祈求長生；商賈式的嚴嵩在那裡繼續「貨財上流」；清醒的徐階只是束手無策，把整個的心力，精治青詞，逢迎帝心。居正在朝也沒有辦法，何況在野！他的心緒，只向詩集里傾瀉，最沉痛的是一篇七賢詠敘 ：
余讀《晉史·七賢傳》，慨然想見其為人，常嘆以為微妙之士，貴乎自我，履素之軌，無取同塗，故有謗盈於一世，而獨行者不以為悔，沈機晦於千載，而孤尚者不以為悶，斯皆心有所愜，遊方之外者也。夫幽蘭之生空谷，非歷遐絕景者，莫得而采之，而幽蘭不以無采而減其臭；和璞之蘊玄岩，非獨鑒冥搜者，誰得而寶之，而和璞不以無識而掩其光。蓋賢者之所為，眾人固不測也。況識有修短，跡有明晦，何可盡喻哉？今之論七賢者，徒觀其沈酣恣放，哺啜糟醨，便謂有累名教，貽禍晉室，此所謂以小人之腹，度君子之心，獨持繩墨之末議，不知良工之獨苦者也。嘗試論之。《易·翼》有言：「天下同歸而殊塗，一致而百慮。」故語默不同，其撰一也，弛張異用，其旨歸也。巢、由抗行，稷、契宣謨，並容於堯代；箕子佯狂，比乾死諍，俱獎於宣尼，豈有異議哉！余觀七子皆履沖素之懷，體醇和之質，假令才際清明，遇適其位，上可以亮工宏化，贊興王之業，下可以流藻垂芬，樹不朽之聲，豈欲沈淪滓穢，無所短長者哉！
等待吧，到了「遇適其位」的時候，居正決定要做出一番大事業。為國家致太平，為個人求不朽，一切都待著適當的時機。
但是嘉靖三十三年，居正已經請告回籍了，國家大事，只有交付給「貨財上流」的政府，他自己正準備做一個「沉淪滓穢」的人物。在朝廷大政沒有清明的時候，要在外省找一片乾淨土，事實上不可能。地方行政，永遠是中央行政的反映，居正沒有不知道的。在他回到荊州府以後，他只覺得在明代最初一百年間，荊州的情況還好，但是：
其繼也，醇俗漸漓，網亦少密矣，變而為宗藩繁盛，骫權撓正，法貸於隱蔽。再變而田賦不均，貧民失業，民苦於兼并。又變而僑戶雜居，狡偽權詐，俗坏於偷靡。故其時治之為難。非夫沈毅明斷，一切以摘奸剔弊，故無由勝其任而愉快矣。
事情是顯然的：宗藩亂政，當然給宗藩以限制；大地主兼并土地，貧民失業，當然給大地主以制裁；機巧變詐的人多，當然只有痛快地施行法治。一切都在居正的眼裡，但是他只是一個在野的人，儘管有加以制裁的決心，但是沒有加以制裁的權勢。他只有種田了，一篇《學農園記》，寫著他的生活：
余少苦篤貧，家靡儋石，弱冠登仕，裁有田數十畝。嘉靖甲寅，以病謝，自念身被沈病，不能簪筆執簡，奉承明之闕，若復馳逐城府，與賓客過從，是重增其戾。乃一切謝屏親故，即田中闢地數畝，植竹種樹，誅茆結廬，以愜息其中。時復周行阡陌間，前田夫、佣臾，測土地燥濕，較穜稑先後，占雲望祲，以知歲時之豐凶。每觀其被風露，炙熇日，終歲僕僕，僅免於飢；歲小不登，即婦子不相眄；而官吏催科，急於救燎，寡嫠夜泣，逋寇宵行；未嘗不惻然以悲，惕然以恐也。或幸年穀順成，黃雲被壟，歲時伏臘，野老歡呼，相與為一日之澤，則又欣然以喜，囂然以娛。雖無冀缺躬饁之勤，沮、溺耦耕之苦，而詠歌欣戚，罔不在是。既復自唯，用拙才劣，乏宏濟之量，唯力田疾耕，時得甘膬以養父母，庶獲無咎。
田賦以外，還有商稅。洪武十八年令：「各處稅課司局商稅，俱三十分稅一，不得多收。 」這是一個原則，但是原則是原則，執行是執行，商稅的額外苛求，無形轉嫁，更加重一般人民的負擔。這也在居正的眼中。他說：
異日者，富民豪侈，莫肯事農，農夫藜藿不飽，而大賈持其盈餘，役使貧民。執政者患之，於是計其貯積，稍取奇羨，以佐公家之急，然多者不過數萬，少者僅萬餘，亦不必取盈焉，要在摧抑浮淫，驅之南畝。自頃以來，外築亭障，繕邊塞，以捍驕虜，內有宮室營建之費，國家歲用，率數百萬，天子旰食，公卿心計，常慮不能殫給焉。於是徵發繁科，急於救燎，而榷使亦頗騖益賦，以希意旨，賦或溢於數矣。故余以為欲物力不屈，則莫若省徵發，以厚農而資商；欲民用不困，則莫若輕關市，以厚商而利農。
周子曰：「即如是，國用不足，奈何？」
張子曰：「余嘗讀《鹽鐵論》，觀漢元封、始元之間，海內困弊甚矣，當時在位者，皆扼腕言榷利，而文學諸生，乃風以力本