此後四年（從一九○九年到一九一三年）對這個林嗣來的闖世界的青年來說，是一段極其悲慘和貧困的時期。在哈布斯堡王朝還沒有覆亡，維也納還是擁有五二○○萬人民的帝國在歐洲心臟的首都的最後短短幾年裡，維也納有著一種世界各國首都所沒有的獨特的快活氣氛和迷人魅力。不僅在建築、雕塑、音樂方面，而且在人民的無憂無慮、喜歡享樂、愛慕文化、追求風雅的精神生活方面，維也納都可以呼吸到西方任何其它城市所沒有的那種紛華糜麗的巴洛克和洛可可式空氣。
維也納位於維納瓦爾德樹木蔥郁的山腳下，藍色的多瑙河畔，山坡上到處點綴著黃綠色的葡萄園，這是一個富有天然美景的地方，外來的遊客固然為之心迷神醉，維也納本地人也自以為得天獨厚。空氣中充滿了音樂，那是當地的天才子弟、歐洲最偉大的音樂家海頓、莫札特、貝多芬、舒伯特的高尚優美的音樂，而且在最後那幾年迴光返照的昇平歲月裡，還有維也納自己鍾愛的約翰‧斯特勞斯的歡樂、迷人的華爾滋圓舞曲。對於這樣幸運和過慣了巴洛克式生活的人們來說，生活就像是一場美夢，因此快活的維也納人都過著紙醉金迷的生活，跳華爾滋，喝葡萄酒，在咖啡館裡談心，在歌場舞謝聽曲看戲，打情罵俏，尋歡作樂，把一生之中大部分時間消磨在享受和夢想之中。
當然，也需要治理一個帝國，維持一支陸軍和海軍，管理交通，進行貿易，從事勞動。但是在維也納，很少有人需要在這些事情上加班工作，甚至用不著全天工作。
當然，也有陰暗的一面。這個城市像所有其它城市一樣，也有窮人，他們營養不良，衣衫襤褸，住在貧民窟裡。但是作為帝國的首都，而且作為中歐最大的工業中心，維也納是繁榮的，這種繁榮比較普遍，人人都有一份。下層中產階級人數眾多，在政治上控制了這個城市；工人們不僅在組織工會，而且也在組織自己的強大政黨——社會民主黨。全市人口這時已增加到二百萬，生活之中有著一種沸騰的景象。民主的勢力正在排擠哈布斯堡王朝悠久的專制的勢力，教育和文化已向群眾開放，因此到一九○九年希特勒到維也納來的時候，一個囊無分文的青年也有機會受高等教育，或者謀得一份相當體面的差使，同其它為數約一百萬的職工一樣，生活在籠罩著首都居民的文明氣氛中。他的唯一友人，同他一樣微賤和默默無聞的庫比席克不是已經在音樂院中初露頭角了嗎？
不過年輕的阿道夫並沒有去實現進建築系的抱負。儘管他沒有中學畢業文憑，他仍有可能進建築系——凡是有「特別才能的」青年，即使沒有這種證件也能入學——，但是從目前所知道的情況來看，他沒有申請入學。他也不想學什麼手藝行業，或者從事任何正常的職業。相反，他寧願幹些雜七雜八的零活——掃雪，拍打地毯，在鐵路西站外面扛行李，有時候幹幾天工地小工的零活。一九○九年十一月，他到維也納「掌握命運」後不到一年，他不得不放棄在西蒙‧丹克衚衕租賃的房間，在以後的四年中一直住在只有鋪位的雞毛店裡，或者在多瑙河畔維也納第二十區默爾德曼街幾乎同樣簡陋的單身宿舍裡棲身，靠光顧施粥站打發饑餓的日子。
難怪在將近二十年後他這麼寫道：
「對許多人說來，維也納是個盡情享受的天堂，尋歡作樂的場所，但是對我說來——恕我直言——它卻是我一生最悲哀的時期的活生生的記憶。
即使到今天，這個城市在我的心中也只能引起不愉快的想法。對我說來，這個逍遙自在的城市的名字所代表的就是五年艱苦貧困的生活。在這五年中我被迫求職——口，開始當小工，後來當小畫家。收入之微薄，不足以填充我每日轆轆的饑腸。」
他說到那些日子時，總不免要提起饑餓。
「當時饑餓是我忠實的伴侶，他同我形影不離，有福同享——我的生活就是同這個無情的友人進行的一場長期搏鬥。」
但是，饑餓卻從來沒有逼得他設法尋找一個固定的職業。他在《我的奮鬥》中說得很清楚，他有著一種小資產階級的入骨的恐懼，深怕又掉到無產者的隊伍中去，體力勞動者的隊伍中去——他後來就利用這種恐懼心理在缺乏領導、薪金低微、無人重視的白領階層的廣大基礎上建立了國家社會黨。這個階層的千百萬人都有這樣一種錯覺，以為自己在社會地位上比起「工人」來至少略勝一籌。
希特勒固然說過，他至少有一陣子靠當個「小畫家」——口，但是他在自傳中沒有詳細說明這個工作的情況，只不過說了這麼一句，在一九○九年和一九一○年，他的情況略有改善，可以不必再當普通小工了。
他說：「這時，我已開始獨立工作，做個小素描畫家和水彩畫家。」
這句話是有些容易令人誤解的，《我的奮鬥》中許多其它具有傳記性質的段落也是如此。雖然當時認識他的人所提供的材料也並不比他自己更加可靠，但是拼湊起來的情況可以說肯定是比較完整的，也可能比較確實。
有一點是相當肯定的，阿道夫‧希特勒從來沒有像他的政敵所嘲笑的那樣當過房屋油漆匠。至少沒有材料證明他幹過這個行當。他當時幹過的事是繪製一些拙劣的維也納畫片，內容常常是一些著名的景物，例如聖斯蒂芬大教堂、歌劇院、伯格劇場、舒恩布倫王宮或者舒恩布倫公園中羅馬時代的遺跡。據他相認的人說，他是從別人作品上臨摹下來的；顯然他沒有寫生的能力。這些畫片是矯揉造作、沒有生氣的，很像一個初學建築的人所畫的粗糙草率的速寫，他有時添上一些人物，也畫得非常拙劣，好像連環畫一樣。我有一次看到希特勒的原作速寫後曾經記下過這麼一些話：「幾個面像。拙劣。有一個幾乎像食屍鬼。」在海頓看來，「它們像巍峨莊嚴的宮殿外的小沙包」。
這種可憐的玩意兒，希特勒也許畫了幾百張，賣給小販裝飾牆頭，賣給商人嵌在陳列出售的畫框裡，賣給傢俱商把這種畫片釘在廉價的沙發和椅子靠背上，當時在維也納，這是一種流行風氣。希特勒也能夠畫一些比較商業性的東西。他常常為小鋪子老闆畫招貼，給泰第狐臭粉這種商品做廣告。有一張畫後來也許在耶誕節的時候賺過一些錢，畫的是聖誕老人在叫賣色彩鮮豔的蠟燭，還有一張畫的是聖斯蒂芬大教堂的哥特式尖頂，高聳在一堆肥皂上。聖斯蒂芬大教堂的尖頂是希特勒從別人的畫上百抄不厭的東西。
希特勒的「藝術」成就僅止於此，但是他至死還認為自己是個「藝術家」。
在維也納這些流浪的年代中，他的外表肯定是波希米亞式的流浪漢。當時認識他的人後來追憶，他穿一件破舊的黑大衣，長至足踝，很像一件土耳其長袍，這是一個匈牙利籍猶太舊衣商送給他的，這個舊衣商也住在那所簡陋的單身宿舍裡，同他頗為友好。這些人還記得他頭戴一頂油膩發光的黑呢帽，四季不換，他的一頭亂髮，前額斜梳，像他日後那樣，頸後的頭髮亂糟糟的蓋住了骯髒的衣領，因為他很少理髮修面，兩頰和下頦往往鬍髭叢生。如果日後成了藝術家的漢尼契的話是可信的話，希特勒像「一個基督教徒中間很少出現的鬼怪」。
不像同住在一起的一些潦倒的青年人，他毫無青年的惡習。他既不抽煙，也不喝酒。他同女人沒有來往——根據已知情況，不是因為任何不正常的心理或生理，而完全是因為他特別怕羞。
希特勒後來在《我的奮鬥》中難得幽默地說，「我相信，當時我認識的人都把我當作一個怪物」。
像他的教師一樣，這些人也記得他的炯炯有神的眼光，這是他臉部的突出特點，反映出性格中同這個一身骯髒的流浪漢的貧困生活很不協調的某種東西。他們還記得，這個青年人儘管在體力勞動上極其懶惰，讀起書來卻廢寢忘食，夜以繼日。
「當時我用心讀了大量的書。工作之餘全部時間都花在讀書上。這樣在幾年之內我就打下了知識的基礎，到今天我還從這裡吸收營養。」
在《我的奮鬥》中，希特勒詳盡地談到了讀書的藝術。
「所謂『讀書』，當然，我的意思也許同所謂『知識界』的一般人有所不同。我也認識一些大量『讀書』的人——但是我並不認為他們是『博學』的人。不錯，他們有大量『知識』，但是他們的頭腦不能組織和整理他們所吸收的知識——另外一方面，一個掌握正確讀書藝術的人——從本能上立刻就能辨別出什麼東西是他認為值得永遠記住的，或者因為這些東西符合他的需要，或者因為一般值得知道——讀書的藝術，求知的藝術是：——去蕪存精——只有這樣的讀書才有意義，才有目的性——由此看來，我在維也納的日子特別有意義，特別有價值。」
有什麼價值？希特勒的答覆是：從他的讀書中，從他在維也納窮人中間的生活中，他學到了日後需要知道的一切。
「維也納過去是，而且現在仍舊是我一生中條件最艱苦的學校，雖然也是最徹底的學校。我剛踏進這個城市時還是一個孩子，離開時卻已成人，性格也變得沉靜嚴肅了。
在這個時期中，我形成了