在經過國家社會主義的五年半統治以後，對於那些反對希特勒的少數德國人來說，他們心裡十分明白，只有陸軍擁有能推翻他的實際力量。工人們，中產階級和上層階級，即使有此心也無此力。除納粹黨的組織而外，他們別無組織，當然更沒有武裝。雖然對於德國的「反抗」運動本書以後還有許多東西要寫，然而，它自始至終都極為微弱，當然，它是由一小部分勇敢而正直的人領導的，卻沒有群眾。
應當承認，僅僅維持本身的存在，在一個偵探密佈的恐怖統治的警察國家內就已經是極其困難的事情。而且，一個小小的集團——即使是一個較大的集團，如果有的話——怎麼能起而反抗黨衛隊的機關槍、坦克車和火焰噴射器呢？
一開頭的時候，對希特勒的任何反對都是發自文職人員，如上所述，對於將軍們來說，納粹制度掙脫了凡爾賽條約的束縛，給了他們以重建一支偉大的軍隊這個他們夢寐以求的傳統任務，他們歡喜之不暇，也就說不上有什麼反對，大有諷刺意味的是，起而領導反對派的文職人員都是曾為元首服務並且身居要職的人，其中大多數最初都曾對納粹主義抱有熱忱。這種熱忱直到一九三七年他們開始認識到希特勒是在把德國引向一場幾乎肯定要失敗的戰爭時才歸於消失。
這些最早開始覺醒的人中間有一個是萊比錫市長卡爾‧戈台勒。他原來是勃魯寧任命的物價管制局局長，希特勒上臺後繼續擔任該職三年之久。戈台勒是一個保守派，從內心來說還是一個保皇黨，他又是一個虔誠的新教徒，聰明能幹，精力過人，然而失之不夠謹慎與剛愎自用。他在一九三六年因為反對納粹黨人的排猶運動和瘋狂擴軍而同他們決裂，同時辭去了兩項職務，一心一意地進行反對希特勒的工作。他的第一個行動就是在一九三七年去法國、英國和美國，用心良苦地警告它們注意納粹德國的危險。
稍後覺醒的兩個後來終於也同謀反對希特勒的人是普魯士財政部長約翰內斯‧波比茨和沙赫特博士，兩個人都曾因為在改組德國經濟使之適應戰爭目的方面卓著勞績而得到過納粹黨的最高勳章——金質榮譽章。兩個人都是到一九三八年才開始憬恰到希特勒的真實意圖。兩個人看來都因為過去的歷史和本人的性格而沒有受到反對派核心的完全信任。沙赫特太機會主義，哈塞爾在日記裡曾說，這位國家銀行總裁能夠「說的是一回事，做的又是一回事」，他說貝克將軍與馮‧弗立契將軍對此也有同感。波比茨雖然才華過人，然而見異思遷。他是一個傑出的經濟學家，也是一個優秀的希臘學者，同貝克將軍和哈塞爾一起參加了星期三俱樂部，這是一個十六名知識份子的組織，每週集會一次討論哲學、歷史、藝術、科學和文學的問題，它在時機成熟——或者不如說時機坐失——以後形成了反對派的中心之一。
烏里希‧馮。哈塞爾成了反對派領導人的某種外交顧問式的人物。他在阿比西尼亞戰爭和西班牙內戰時期曾任駐羅馬大使，我們在上文中已經知道，他發出來的電報都是建議柏林如何使義大利同英國和法國紛爭不已，從而使義大利站在德國一邊。後來他開始擔心，如果同法國和英國交戰，這將會使德國導致致命的後果，即使德國與義大利結盟，這也會造成同樣的結果。他所受的文化教養至深，因此對國社主義的粗鄙庸俗，除了嫌惡鄙棄而外，實在談不上有什麼好感。雖然如此，他可也沒有自動棄官，不為這個政權服務。他是在希特勒一九三八年二月四日所策劃的軍事、政治、外交人事大改組中彼刷掉的。哈塞爾出身於漢諾威貴族世家，妻子是德國海軍的創始人馮‧鐵必制海軍元帥的女兒，全部氣質都是一個純粹的老派紳士。他同許多同階級的人一樣，看來非得要等到被納粹黨人一腳踢開後才有所震動而想做點什麼來推翻他們。一旦過了這一關，這個敏感的、聰明的、矜持的人就專心致志地來從事這項工作，而到最後，我們會看到，為此而獻出了自己的生命，遭到了極慘的結局。
還有一些別的人，不那麼知名，大多也比較年輕，從一開頭就反對納粹，逐漸結成了各種各樣的反抗集團。其中有一個集團的一個傑出之士是埃瓦爾德‧馮，克萊施特。他是一個鄉下紳士，是大詩人埃瓦爾德‧馮‧克萊施特的後裔。同他親密合作的有恩斯特‧涅克希和費邊。馮‧施拉勃藍道夫。前者從前是一個社會民主黨人，後來是《維德施但報》（《反抗報》）的主編。後者是一個年輕的律師，是維多利亞女王的私人醫生和心腹顧問馮‧施托克瑪律男爵的外曾孫。也有從前的工會領導人，例如：尤利烏斯‧萊伯，雅可布‧凱撒，威廉‧劉希納。兩個秘密警察的官員：阿圖爾‧奈比（他是刑事警察的頭子）和伯恩德‧吉斯維烏斯（他是一個年輕的職業警官），隨著反抗密謀的發展而成為得力的助手。後者後來在紐倫堡審訊中成了美國檢察官的寵兒，並且寫過一本書，雖然大部分歷史學家對這本書和它的作者的可靠性都打了很大的折扣，但它還是透露了反希特勒陰謀的許多真相。
還有德國許多名門望族的子弟：赫爾莫特‧馮‧毛奇伯爵，他是著名的毛奇元帥的侄曾孫，後來組織了一個由一批青年理想主義者組成的反抗集團，名為克萊騷集團：艾爾布萊希特‧馮‧伯恩斯多夫伯爵，他是第一次世界大戰時德國駐華盛頓大使的侄子；卡爾‧路德維希‧馮‧古登堡男爵，他是直言無忌的天主教月刊的主編；狄特里希‧波霍弗牧師，他的先人，不論父系母系都有過傑出的新教教士，他認為希特勒是反基督的，而且認為「把他消滅」是一個基督徒的天職。
幾乎所有這些勇敢的人都曾不屈不撓地進行過鬥爭，最後終於被捕，在受到拷打之後，或者被絞死，或者被砍頭，或者乾脆被黨衛隊暗害。
有很長的時間，這種文人的小小的反抗組織在吸引軍人來參與他們的工作方面幾乎毫無成就，馮‧勃洛姆堡元帥在紐倫堡作證時說：「在一九三八—一九三九年以前，德國將領並不反對希特勒。既然他帶來了他們所希望的結果，也就沒有反對他的理由。」戈台勒同馮‧哈麥施坦因曾有過若干接觸，但是這位前德國陸軍總司令在一九三四年就退休了，對現役將領沒有什麼影響。在納粹政權的初期，施拉勃藍道夫曾與卡納里斯海軍上將在德軍最高統帥部諜報局內的主要助手漢斯‧奧斯特上校有過聯繫，發現他不但堅決反對納粹，而且願意做文人和武人之間的橋樑。然而，直到一九三七—一九三八年的歲尾年頭，在將軍們受到一連串的震動以後，他們中間才有人開始警覺到這個納粹獨裁者對德國的危險。這些震動是，希特勒一定要打仗的決定，他對軍事指揮系統的大改組，他親自執掌軍權的行動，他對馮‧弗立契將軍卑劣的處置。一九三八年八月底在捷克危機日益緊迫之際，貝克將軍的辭職起了進一步促人猛省的作用。雖然他的袍澤軍官並沒有如他所希望的那樣，與他同時引退，但是，事情馬上就很明顯，這位下野的參謀總長是所有不易駕馭的將官們和文職的反抗領袖們的一個團結的中心。兩個集團都尊敬他，信任他。
另外一重考慮，兩個集團現在也都看清了：要制止希特勒，就必須用武力，而只有陸軍有武力。然而陸軍方面有誰能掌握它呢？不是哈麥施坦因，甚至也不是貝克，因為他們都已退休了，大家明白，迫切需要的是聯絡上當時實際指揮駐防柏林內外的部隊的將領，以便一旦舉事就能立即採取有效行動。新任陸軍參謀總長哈爾德將軍實際上並無兵權。馮‧勃勞希契固然能號令全軍，但是不能完全信任。密謀策劃者認為，他的權威是有用的，不過只有到最後一刻，才能讓他預聞大事。
後來的事實是，很快就發現了有幾位屬於要害地位的將領願意協助，後來也實際參加了醞釀中的密謀。其中有三個人掌握著可以決定大事成敗的位置，他們是：埃爾溫‧馮‧維茨勒本將軍，他是舉足輕重的第三軍區司令，這一軍區包括柏林和柏林周圍地區；伯爵埃里希‧馮‧勃洛克道夫—阿爾菲爾德將軍，他是波茨坦駐軍司令，該駐軍由第二十三步兵師組成；埃里希‧霍普納將軍，他指揮駐在圖林吉亞的一個裝甲師，在必要時，這個師能擊退任何企圖從慕尼黑來解救柏林的黨衛隊。
到八月底的時候，密謀份子的計畫是：在希特勒最後下令進攻捷克斯洛伐克的時候，立即逮捕他，把他拉到他自己設立的人民法庭上去，控訴他輕舉妄動地把德國投入歐洲大戰，因而他失去執政的資格。與此同時，在一個短時期內實行軍事獨裁，然後再成立由社會上知名人士領導的臨時政府，在適當的時期以後，組織一個保守的民主政府。
有兩點考慮是這次政變成敗所繫的關鍵，而且與兩個主要的政變策劃人哈爾德將軍與貝克將軍有關。第一點是時間問題。哈爾德同最高統帥部安排好，把希特勒最後下令進攻捷克斯洛伐克的時間在四十八小時以前通知他個人。這樣就可以使他有時間在德軍越過捷克邊境以前就把政變的計畫付諸實施。這樣他不但可以逮捕希特勒，而且可以防止造成大戰的致命的一步。
第二點是貝克必須在事先使將軍