從一八九六年十月到一九○○年八月，是愛因斯坦大學生活的四年。他就讀的是蘇黎世工業大學的教育系。其實，這個教育系應本稱為物理—數學系，專門培養物理、數學教師。像大多數充滿好奇心的大學一年級新生一樣，愛因斯坦的選修課程也是五花八門，從日晷＜註一＞投影、瑞士政治制度、到歌德作品選讀，樣樣都有。但他很少去聽物理學和數學的主要講課。教授物理學課的韋伯是位傑出的電工學家，但在物理學方面，他的講授內容愛因斯坦早已熟悉。愛因斯坦寧可自己直接攻讀物理學大師麥克斯威爾、基爾霍夫、波爾茨曼和赫茲的著作。大學期間，愛因斯坦對數學，他曾鍾愛的數學改變了看法。數學分支太多、太細，每一個細小的分支，都可以消耗一個人的終生。可在物理學中，特別是在理論物理學中，很容易找到本質的東西。你只要鑽進去，再鑽進去，自然的奧秘就呈現在眼前了。
由胡爾維茨、明可夫斯基這樣一些傑出的研究者講授的數學課，同樣沒引起愛因斯坦的興趣。明可夫斯基，這位未來的相對論數學工具的創立者，在自己的課堂上，並沒有看出相對論的未來創造者。當相對論出現的時候，明可夫斯基才發現，自己教過的學生，竟完全出乎自己的預料。這個相對論的創立者，就是那位經常無故曠課的學生？
愛因斯坦又在想乙太了。這個乙太，來無影，去無蹤，怎樣才能證明它確實存在呢？乙太沒有重量，無所不在，渺茫太空就是乙太的海洋，地球像一隻小船，在乙太的海洋裏緩緩航行。要是有一個儀器，能量地球在乙太海洋裏的航行速度，不就證明了乙太的存在嗎？他成天泡在物理實驗室裏，真的設計出一個測量地球在乙太中運行速度的儀器。
愛因斯坦興奮地把圖紙拿給韋伯教授看，他說：
「韋伯先生，……」
韋伯的眉頭皺了起來。他一手拿著圖紙，一手撚著鬍子，心裡想：
「這個愛因斯坦，真是個怪人！人人都叫我教授先生，他偏叫我韋伯先生。瞧他那身衣服，臃腫得像條麵粉口袋。你對他說這樣，他偏要那樣。」
韋伯教授是一位注重實驗的物理學家，對於理論物理的新思想，他是不關心的。韋伯的眼睛離開圖紙，和愛因斯坦那一片真誠的期待的目光相遇了。愛因斯坦很想聽聽教授對他這個設計的評價。但是，怕嘲笑的人總覺得人家在嘲笑他。
韋伯教授在愛因斯坦那雙又大又亮的眼睛中看到的正是嘲笑。
他說：
「愛因斯坦先生，你很聰明，可以說聰明絕頂。可惜，你有一個缺點：你不讓人教你！」
他把圖紙還給愛因斯坦，有禮貌地點一下頭，走了。
教授還沒有走遠，愛因斯坦就哈哈笑了起來。愛因斯坦是有「缺點」；他只會真誠待人，不懂客套。你講得不對，他會當場打斷你的講話，不管你是鼎鼎有名的教授，也不管你是如何的難堪，反駁得意時，他甚至會忍不住笑出聲來。但是一當看到對方的窘相，他又會戛然而止，露出比對方更窘的抱歉的神色。真誠與善良永遠是愛因斯坦的天性。
經常曠課的愛因斯坦，每當考試時，就得提心吊膽了。幸好，他的同班同學格羅斯曼，筆記記得非常出色，考試前，這些筆記就成了愛因斯坦的救命船。
格羅斯曼總是準時去聽明可夫斯基，和其他教授，講授的高等數學的各章節的課，愛因斯坦和他很要好，後來吸收他參加廣義相對論的數學工具的制訂工作。格羅斯曼把自己的課堂筆記本借給愛因斯坦。在一九四九年的自述中，愛因斯坦回憶起此事，並順便稱道了幾句，他在蘇黎世所享有過的這種上課自由，為了應付考試而強制去學一門課程，曾使他感到苦惱。
「這種強制使我如此畏縮不前，以致我在通過最後的考試以後，整整一年對科學問題的任何思考都感到掃興。不過我應當指出，我們在瑞士苦於這種窒息真正科學工作的強制，比其他許多地方的大學生要少得多。一共只有兩次考試，除此之外，你或多或少可以做你想做的事。誰要是像我這樣有一個朋友，認真地去聽全部課程，並仔細地整理講課的內容，那就更好了。直到考試前幾個月，這種情況都給我選擇了幹事的自由——我大大地利用了這種自由；我把與此伴隨而來的內疚，看作是不可避免的，並且其害處是微不足道的。事實上，現代的教學方法，還沒有把神聖的求知慾完全扼殺掉，這差不多是一個奇蹟；因為這株脆弱的幼苗，除了需要鼓勵之外，首先需要自由——沒有自由它將不可避免地會夭折。」
愛因斯坦對科學研究的理解，在守舊的教授們那兒，被視為離經叛道、胡思亂想。在他們眼裏，愛因斯坦是個糟糕的、叫人頭疼的學生，能否畢業都成問題呢！
有一次上實驗課，教授照例發給每個學生一張紙條，上面把操作步驟寫得一清二楚。愛因斯坦也照例把紙條捏做一團，放進褲子口袋。過了一會兒，這張紙條就進了廢紙簍裏。原來他有自己的一套操作步驟。愛因斯坦正低頭看著玻璃管裏跳動的火花，頭腦卻進入了遙遠的抽象思維的世界，突然，「轟」的一聲，把他震回到現實世界中來。愛因斯坦覺得右手火辣辣的，鮮血直往外湧。同學、助教、教授都圍了上來。教授問明情況，就憤憤地走了。他向系裏報告，堅決要求處分這個膽大包天、完全「不守規矩」的學生。前不久，因為愛因斯坦不去上他的課，他已經要求系裏警告愛因斯坦。未來的物理學大師果真受到了處分。一個不聽老師話的學生能成材嗎？
十幾天以後，愛因斯坦看到教授迎面走來，想躲已經來不及了。教授走到愛因斯坦面前，目光很自然地落到他那隻包著繃帶的右手上，教授歎了口氣，心裡又同情又遺憾。教授再次歎了口氣，說：「唉，你為什麼非要學物理呢？你為什麼不去學醫學、法律或語言學呢？」
愛因斯坦並未意識到教授的話中話，教授認定，一個不循規蹈矩的人，是進不了物理學殿堂的。
誠實的愛因斯坦老老實實地回答：
「我熱愛物理學，我也自以為具有研究物理學的才能。」
教授迷惑了。一個不守規矩的學生還加上一份固執，他搖了搖頭，再次歎了口氣，說：
「唉！……」
「算了，聽不聽由你，我是為你好！」
歷史得感謝愛因斯坦的「不守規矩」和固執。假如當初愛因斯坦真聽了這位教授先生的「忠告」，物理學真不知要蒙受多大的損失呢！幸好，固執的愛因斯坦是有自信的。他繼續走自己的路，繼續刻苦攻讀物理學大師的著作，不為守舊教授們的態度而退縮。
在蘇黎世也像在瑞士其他的大學城一樣，聚集了許多不同種族的大學生、革命的僑民或是因民族壓迫和階級限制而離開自己祖國的男女青年。大學生中許多人並不是革命者，但是幾乎所有的人都是民主思想的擁護者。這是一個具有巨大政治和科學熱情的環境。甚至把興趣局限於純科學的蘇黎世青年的代表者們也不能不受它的影響。
愛因斯坦和許多大學生僑民接近。他的朋友中有一位名叫米列娃．瑪利奇的塞爾維亞姑娘，她是來自奧匈帝國的僑民。米列娃的才貌並不出眾，生性沉默寡言，她也是學物理學的，雖在學識上沒有出眾的才華，但對一些物理學著作很感興趣。她可以面對愛因斯坦坐上很長時間，一言不發地聽著愛因斯坦滔滔不絕地講述他的物理學觀點。
當時還未出名、也還沒有成熟的愛因斯坦太需要一個消極的聽眾，內在情感一直是孤獨的愛因斯坦，很自然對米列娃產生了感情，以致雙方不久就墮入愛河。
在大學期間，愛因斯坦最親密的朋友有：格羅斯曼、路易．科爾羅斯、雅科布．埃拉特等人。他們像米列娃一樣，都是在一八九六年進入蘇黎世工業大學的。格羅斯曼跟自己的雙親住在蘇黎世湖邊的塔爾維爾村，愛因斯坦經常到他家去。埃拉特也住在家裏，上課時愛因斯坦通常都是和他坐在一排，他媽媽非常喜歡愛因斯坦。許多年後她都回憶起，患了感冒的愛因斯坦，圍了一條古怪的圍巾，是怎樣來到他們家裏的，原來圍巾是他從抽屜櫃上取下的一塊長條桌布，這是他從一位熨衣婦那裏租來的房間裏的一件樸素的裝飾品。有趣的是，這位熨衣婦喜歡在音樂聲中幹活，愛因斯坦就用自己的提琴聲使這位善良的婦女得到享受，為此，他不知耽誤了多少上課以及與朋友聚會討論問題的時間。
愛因斯坦跟古斯塔夫．邁耶爾一家也有往來。邁耶爾曾經住在烏爾姆，是他父親的朋友。許久之後，在邁耶爾夫婦金婚紀念日，愛因斯坦曾寫信給他們：
「早在鸛鳥剛想把我從它無窮無盡的寶庫中送出來的那段時間裡，在烏爾姆您們就是我雙親敬愛的朋友。當一八九五年秋天，我隻身來到蘇黎世並考試落榜的時候，是您們給了我衷心的支持。在我上大學的年代裡，甚至於當我穿著骯髒的鞋子，從烏特裏堡去拜訪您們的時候，您們家好客的大門始終為我敞開著。」
有時，愛因斯坦就到自己一個遠房親戚阿爾貝特．卡爾科赫＜註二