在1939年寫給范內瓦·布希的一封信中，香農寫道：「我斷斷續續地一直在研究分析信息傳遞通用系統的一些基本屬性，其中包括電話、收音機、電視、電報等。」這封信中的描述正是資訊理論的開端。正如香農最終所意識到的，他的通信理論和賭徒的覆滅問題之間居然有著出乎意料的聯繫。
在香農之前，大多數工程師並沒有發現不同的通信媒介之間有什麼聯繫。電視能應用的東西都不能應用到電報中。通信工程師們通過反覆實驗了解了一些技術層面的知識，這種學習方式和中世紀教堂建造者們了解建築工程學的一些知識的方式類似。通過反覆嘗試錯誤方法，他們了解到哪些是行不通的。
香農意識到這個領域應該重新整合。他顯然是在沒有布希輔導的情況下，而且是在為貝爾實驗室工作之前就已經開始了這個課題的研究，否則這項研究將會為AT&T公司創造明顯的經濟價值。
你家裡可能有光纖電纜入戶，傳遞電視頻道、音樂、網頁、語音和所有我們寬泛地稱為信息的其他內容。這根電纜就是一個「通信通道」，是傳遞信息的管道。從某些角度來看，它就像通向你家裡的水管一樣。無論是管道還是電纜，都已經達到了最大承載量。就水管而言，能夠容納的也就只是水管孔那個寬度的水量。通信通道也是如此，它的容量被稱為「帶寬」。
通過水管的水流是有限的，與容量和摩擦力都有關係。水接觸水管內壁產生阻力和紊流，削弱了水的流動。通信通道受噪音影響同樣會擾亂信息傳遞。工程師們推理出的一個經驗法則就是噪音會減弱信息流。如果存在大量噪音，甚至可能無法進行信息傳輸。
有一個非常重要的方法，可以使光纖電纜（或者任何通信通道）與水管區別開來。水不能被壓縮，至少在家庭管道中的壓力下不會壓縮太多。一加侖水總是佔據一加侖水所需的水管。你無法為了在同樣的水管里放更多的水而將一加侖水壓縮成一品脫。信息則不同，將信息縮短或者壓縮而又不改變信息的意義通常是很容易做到的。
19世紀時，電報線是非常珍貴的。因此為了節省帶寬，報務員們發報時會將不必要的詞、字母和標點符號全部去掉。即使到了今天，手機用戶為了節省，發簡訊的時候也會發送各種縮寫詞或者代表某些俗語的代碼。只要接收者能夠明白信息的意思就可以了。
你可以把信息比作橘子汁。巴西的橘子汁生產商將果汁製成濃縮原漿，然後將濃縮原漿運到美國，節省了不少運費。最後，美國的消費者在濃縮原漿中加入水，混合成大約和生產商最初生產的果汁同等濃度。有效地發送信息也需要壓縮和重組的過程。當然，信息和果汁一樣，問題在於傳遞過程中是否丟失了某些微妙的東西。
一個特彆強大的信息壓縮方式就是給信息編碼。行動電話和網路連接都能自動編碼，不需要我們考慮。一個好的編碼程序能夠極大地壓縮信息，比一些縮略詞的壓縮效果好很多。
相對來說，摩爾斯設計的電報代碼就很好，因為最常見的字母「E」由最短的代碼代替，就是一個小圓點「.」。像「Z」這樣的不常見字母的代碼稍長一些，由多個點和長線組成。這使得大部分信息都比用早期的一些電報代碼更加簡明。這種原理和很多其他更加微妙的原理都應用到了現在的代碼中，用於壓縮電子圖片、音頻和視頻。
這些壓縮項目的成功說明信息就像海綿——大部分都是「空氣」，只有少量「物質」。只要你保存好其中的物質，就可以將空氣擠出去。
香農的前輩們想要解決的問題是：信息中的「物質」，也就是不能被去除的必要部分是什麼？大多數人認為是信息的「含義」。除了「含義」以外，信息中的任何東西都可以去掉。如果沒有含義，那麼也就沒有通信的必要了。
香農則提出了最激進的觀點，他認為含義是無關緊要的。用拉普拉斯（Laplace）的話解釋，也就是含義只是一種假設，香農並不需要。香農認為信息反而是與「隨機性」相關。這不僅是因為噪音會隨意擾亂信息。只有當發送者所說的是接收者原本不知道並且無法預知的信息時，信息才有存在的意義。因為真正的信息是無法預知的，本質上只是一系列隨機事件，就像賭博輪盤的旋轉或者骰子的滾動一樣。
如果把含義從香農的理論中去除，那麼存在於每條信息中不能壓縮的物質到底指的是什麼呢？香農的結論是這種物質可以用統計學術語來表述。這種物質只與信息符號的不可預知程度有關。
前陣子，一家電話公司的廣告中向人們展示了由於手機噪音而引起的詼諧的誤會。一個農場主打電話訂購200頭牛（oxen）。由於音質不好，對方沒有聽清，他最後收到200隻達克斯獵狗（dachshund）——獵狗根本無法拉犁耕地。還有一個妻子給上班的丈夫打電話，讓他回家時帶瓶洗髮水（shampoo），結果他帶回來一頭殺人鯨（shamu）！
或許我們還沒意識到，在理解這些廣告的幽默之處時，我們其實已經認同了香農的觀點。試試分析一下殺人鯨廣告中發生的事情：⑴妻子說「買瓶洗髮水」。⑵丈夫聽成了「買頭殺人鯨」。⑶丈夫結束通話，說了聲再見，然後回家路上買了一頭殺人鯨。
只有第三個行為是荒謬可笑的。之所以荒謬，是因為「買頭殺人鯨」這條信息出現的可能性極低。在現實對話中，我們總是努力猜透彼此的意思。我們對對話發生地點、接下來可能會說的話以及哪些是完全不合邏輯的推論等的認知總是在不斷更新。兩個人的聯繫越緊密（人際關係或者文化），推測就越容易。一對結婚很久的夫婦可以把對方想說的話補充完整。兒時最好的朋友之間可能發送的信息里只有三個字，也能讓對方興奮得歇斯底里。
與陌生人或者不了解你的文化的人說話時使用簡略的表達方式是非常不明智的。當傳達的是無法預料的信息時，即使接收者是自己的配偶，簡明的表達方式也是行不通的。
假設你真的想讓你的配偶買回家一頭殺人鯨，你也不能只說「買頭殺人鯨」，你需要進一步解釋原因。信息的不可能性越高，「可壓縮性」就越低，需要的帶寬就越多。這就是香農的觀點：信息的精華在於其「不可能性」。
香農不是第一個如此給信息下定義的人。他的兩個最重要的前輩都是20世紀20年代在貝爾實驗室工作的科學家：哈利·奈奎斯特（Harry Nyquist）和拉爾夫·哈特利（Ralph Hartley）。香農上大學時曾讀過哈特利的論文，高度稱讚其「對我的生活有重要的影響」。
隨著這些想法的發展，香農需要給信息中這些不可壓縮的物質起個名字。奈奎斯特曾用「情報」（intelligence）來表示，哈特利用的是「信息」（information）。在早期的論文中，香農更傾向於奈奎斯特的用詞。「情報」暗含軍事情報含義，正好符合這項與密碼有關的研究工作。「情報」還暗指「含義」，然而，香農的理論恰恰於含義無關。
普林斯頓高等研究院的約翰·馮·諾依曼建議香農採用「熵」（entropy）這個詞。「熵」是一個物理學術語，寬泛地講就是表示隨機性、無序性或者不確定性程度的函數。熵的概念源自蒸汽機的研究。據了解，要想將所有隨機熱能都轉化成有用的能量是不可能的。蒸汽機運行時需要有溫度差（熱蒸汽將活塞推向冷卻空氣）。隨著時間的變化，溫度差會漸漸消失，蒸汽機便會停止工作。物理學家將其描述為熵的增加。著名的熱力學第二定律中說，宇宙的熵值一直在增加。事物會停止運動、分裂，然後殆盡。
馮·諾依曼告訴香農如果採用「熵」這個詞，將讓別人無力質疑，因為沒有人真正了解「熵」的含義。馮·諾依曼的建議並不完全是隨口一說。物理學中熵的方程式形式和香農理論中信息的方程式形式一致（都是概率測度的對數）。
香農採納了馮·諾依曼的建議。他既採用了「熵」這個詞，也採用了這個詞常用的代數符號「H」。後來香農給自己在馬薩諸塞州的家起名叫「熵之屋」（Entropy House）——所有看過房子室內的人都會認為這個名字非常貼切。
羅伯特·法諾說：「我不喜歡資訊理論（information theory）這種叫法，克勞德也不喜歡。」但事實證明人們對「信息」這個詞實在太著迷，因此連信息內容的概念也用信息這個詞來表示了。