從執政淪為在野從來就不是輕鬆的事情。而由於種種原因，特德·希思領導下的保守黨人這時感到尤為困惑。首先，當然，我們一直到最後一刻還在期望獲勝。不管我們政府的經濟戰略有什麼缺點，每個部門都為將來的發展制訂了很好的政策規劃。我們變成了在野黨，這個嚴酷的事實使我們不得不放棄這一切。其次，特德本人拚命想要繼續擔任首相。他已經被無禮地趕出了唐寧街１０號。由於無家可歸，他只好求助於他的老朋友和議會私人秘書蒂姆·基森，在他家裡暫住了幾個月。這件事使我在數年以後下定決心，當我離開唐寧街的時候，至少要有一處能夠安身的房子。特德強烈希望重新擔任首相，其背景是有人大談聯合政府和國民團結政府，這些談論使黨不得安寧。不過在某種程度上這也表明了特德的真正的信念。事實上，保守黨離特德本人的想法越遠，他就越想由聯合政府來制服保守黨。第三，也許是最糟的，我們的１８０度大轉彎遺留下來的毒害使我們沒有堅定的原則了，更沒有了我們可以引以為據的成績。而對一個反對黨來說，論據就是一切。
就我來說，我很高興，特德沒有讓我管我過去管的教育部而是把環境部的職位給了我。在６０年代我們上次在野時我就懂得了，要攻擊將在本部門處於某種醞釀階段的方案是有困難的。再者，我自己在這次大選中感受到，地方稅和住房問題，特別是後者，造成了我們的失敗。在這兩方面構想和提出健全的得人心的政策的任務，對我有吸引力。
對特德的職位有些風言風語，但也不過談談而已。部分原因是由於我們大多數人期待儘早舉行一次大選，以便讓工黨得到有效進行工作的多數，而現在更換黨的領袖似乎並不明智。當然還有其他原因，特德仍然可以在他的很多同僚中製造神經緊張甚至恐懼的氣氛。從某些意義上說，甚至那些１８０度大轉彎也有助於在他的周圍營造出光環。他單槍匹馬地，在幾乎沒有人公開表示異議的情況下改變了保守黨的政策，並且走得很遠。他還和他的助手們一道進一步改造了保守黨。奇怪的是，那些支持特德方針的人和那些與他的思想很不一致的人，如基思和我，以及許多后座議員們，都一致認為，工黨當前推行的花錢買選票的政策將不可避免地導致經濟崩潰。那樣做的政治後果會是怎樣無法確定。但是保守黨內有不少一廂情願的空想家，他們認為那樣也許會使保守黨拿著"醫生的授權"重新掌權，那時特德也就無疑有了自己的醫生證書。
然而，特德沒有對黨內批評他的人作出讓步，他本應作出讓步。如果他以不同方式改變他的態度，他可能會有效地防止出現將來對他的職位的威脅。他本來可至少表示願意承認政府犯錯誤，並從中吸取教訓。他本可邀請有才幹的批評他的后座議員作他的影子內閣發言人，並幫助從新考慮政策。他本來可以改變影子內閣的總體面目，使之更能代表議會方面的意見。
但是，這些事他一件也沒有做，他讓羅怕特，卡爾接替了托尼·巴伯，後者宣布打算離開下議院，但暫時留在影子內閣中，不擔任職務。羅伯特·卡爾更熱衷於干預主義的方針，給我們帶來了很大麻煩。那一年，他把諸如邁克爾·赫塞爾廷和保羅·山農這些被看作是他的助手的議員們提拔到影子內閣，而這些人並不代表當時后座議員的意見。只有約翰·戴維斯和喬·高德伯未被錄用，他們在思想上沒有什麼獨特之處。總之，他堅決反對任何意味著他的政府的經濟和工業政策曾有嚴重失誤的政策再思考，基思·約瑟夫沒有被任命為影子內閣財政大臣，這時他說他不想擔任職務而想集中力量研究新政策——這件事對特德將是危險的，但同時對黨是有重要意義的。否則，當選民們明確表明需要新的政策時，這些政策就成了讓人掃興的"還是同樣的東西"的信號。除此之外，頗為重要的影子大臣指導委員會更是按照特德的形象組成的。我在當時未被邀請參加該委員會，其成員中只有基思、也許還有傑弗里·豪可能對特德的意向持反對態度。
由於人們都預料年底以前舉行另一次大選——大家都願意在１０月舉行——保守黨開始幾乎狂熱地尋找有吸引力的政策以便寫入我們下一個競選宣言中去。這些政策要符合兩個標準：它們必須是新鮮的，而且又不能令人懷疑不久前保守黨政府政策的內在正確性。我補充第三點：就我所負責的領域而言，新政策還要公認為是保守主義的。為了滿足這些標準，我們需要絞盡腦汁。
在１９７４年２-１０月份舉行各種選舉期間，我的大多數時間用在住房和地方稅的工作方面。我有一個由議員組成的有效的住房政策小組與我一起工作，休·羅西是我的一個朋友和鄰座議員，他是一位了不起的住房專家，他有地方政府工作經驗。邁克爾·萊斯姆和約翰·斯但利精通建築業。新當選的奈傑爾·勞森才華出眾，總有自己的見解。我們也得到建築協會和建築業方面的人士的幫助。我很高興能領導這樣一個生氣勃勃的小組。
政治上優先考慮的問題當然是降低抵押貸款利率。技術問題是如何達到這一目的而不是無限地付補貼。當然，純粹主義者的觀點認為：人為地控制購房的借款利率，將肯定事與願違。而在這件事情上純粹主義者是對的，正如他們經常是對的一樣、如果我們過去是推行一種負責的經濟政策，也就不會有房地產價格的大漲大落，而日益高漲的通貨膨脹也不會抬高抵押貸款利率了。穩定貨幣和提供足夠的開發土地的政策，是確保有序住房市場的正確方法。但是，我們當然沒有推行這種政策。工黨已經發起了反對房地產開發的鬥爭。在這種情況下，使抵押貸款利率保持在低於市場確定的水平，或更確切他說，建築協會確定的水平，在短期內具有政治意義。執政期間，我們曾經實施過抵押貸款補貼的辦法，甚至討論過掌握控制抵押貸款利率的權力。工黨政府很快拿出了由哈羅德·利弗制定的方案，為建築協會提供大量低息短期貸款。我們的任務則是制訂出更加有吸引力的政策。
除了注意制定政治上有吸引力的政策之外，我有理由堅信在抵押貸款利率問題上需要採取行動，我們為幫助人們購房而制定的其他措施也應付諸行動。我一貫信奉擁有財產的民主和使更多的人擁有住房。在這一點上我也深切地感到中產階級是多麼痛苦。由於我們和工黨共同造成的通貨膨脹，實際上的盈利率使得人民的儲蓄貶值。除此之外，１９７４年房產的價值下跌。股票市場也是一樣：《金融時報》普通股指數跌至１４６點，是２０年來最低點。工會權力和左翼社會主義力量正在上升。稅收的提高加重了商業和老百姓的負擔。
在這種情況下，暫時照顧一下一個國家的中產階級的利益可能是正確的，國家的未來繁榮很大程度上依靠他們。而且，幫助人們以抵押貸款買房子——無論是以抵押貸款利率補貼或定金補助，或者僅僅是以減免抵押貸款利息稅的方式——比建築公房或收買私人房屋歸市所有更加省錢。我經常引用某住房研究基金會的研究報告，報告指出："每所市屬公房，現在每年平均需要繳納約９００英鎊作為稅收和地方稅補貼（包括很老的、市屬公房），而減兔普通抵押貸款稅，如果把這視為補貼的話，平均每年約為２８０英鎊。"
我的住房政策小組每星期一定期開會。住房問題專家和建築協會的代表們各抒已見。我經常向影子內閣作彙報。在他們沒有對經濟政策真正達成一致意見，也沒有對任何其他問題有很多建設性看法的情況下，他們把注意力全集中在我所負責的領域。我很清楚，特德和其他人決心把我們關於住房，可能還有關於地方稅的建議，作為我們希望早些而不是晚些舉行的下次大選活動的中心內容。例如，在５月３日星期五，我們影子內閣全天討論了宣言的政策問題。我彙報了住房問題，並被授權成立一個地方稅政策小組。但是，這次會議還有另外一番重要意義。會上，基思·約瑟夫就用新義的"貨幣主義"方針應付通貨膨脹問題作了長時間的徒勞無用的發言。
地方稅問題的難度超過了住房問題的任何一個方面，由一個成員略有不同的小組幫助我工作。我要掌握大量的技術資料。另外，地方稅的改革，且不說取消，對中央政府和地方政府的關係和地方當局各部門的工作特別是教育部門，有著深刻的影響。我依靠專家們的意見——市財政局的官員證明是最好的情況來源，他們隨時提出技術性意見。但是，我的時間很緊迫，而且是在特德和其他人的嚴密注視下工作的。他們希望我拿出一個激進的、得人心的和有說服力的東西。我的任務絕非輕而易舉。
話說到這裡，我想我可以說很好地懂得了當時的政治已經到了怎樣的緊要關頭。例如，５月２１日星期二，我遇到了３５０名來自北安普敦郡的抗議者，每個村、鎮都有一名代表，他們對地方稅上漲３０％至１００％極為憤怒。幾種因素使得這一問題在政治上突出出來：這一制度有根本不公平的因素：一個單身寡婦與家裡有３個已經工作的成年兒子家庭，繳納相同數量的稅款；我們於