"我眯起一隻眼睛偷偷地看，事情原來是這樣……"
——兒童遊戲
"看"本身是一個相當複雜的過程。因此，腦中的視覺部分並不那麼簡單也就不足為奇了。它們是由一個龐大的初級系統、次級系統和許多更高級系統構成。各個系統都要接受來自於上百萬個神經元的輸入。這些神經元位於眼睛的後部，稱之為神經節細胞。初級系統通過丘腦的側膝體與新皮層相連接。次級系統要投射到前面提及的四疊體上丘。
眼睛的一般結構如圖38所示，它具有一個可自由調焦的晶狀體，至少對四十五歲以下的人是可以自由調節。還有可改變孔徑大小的瞳孔。在較強的光照下，孔徑就會變小。晶狀體把視場內的圖像聚焦到位於眼睛後部的一片細胞之上，這薄薄的層稱為視網膜。在其中一層上有四種不同的光感受器，它們對於入射的光量子有響應。由各自的形狀取之名，如，視桿細胞和三種視錐細胞。每隻眼睛裡視桿細胞的數量超過十億，它們對於微弱的光有響應，且僅有一種類型。視錐細胞的數目約有七百萬，它對強光有響應，且具有三種類型，每種對入射光的不同波長範圍有響應。正因為這樣，我們才能看到不同顏色。這一點在第四章中已作過介紹。
當輸入信息經過視網膜時，需進行第一步加工，事實上，視網膜本身就是腦極其微小的一部分，與新皮層相比研究它就更容易些。美國生理學家約翰·道林（John Dewling）把它稱為通往腦的窗口。它也許就是能夠完完全全了解脊椎動物腦的第一步。儘管它的結構也許是很值得研究的，但我仍把它看作一個"黑箱"，並僅僅介紹有關它的輸入與輸出之間的關係。所謂輸入就是指射入眼睛的光線，而輸出就是指神經節細胞的發放。①
用於明視覺或日間視覺的錐體細胞在眼睛中央凹附近的分布密度極高。因此，我們才能夠看到極其微小的細節。這也就是當你為了看清楚某個感興趣的東西時，你就會注視它的原因。與此相反，當你在黑暗中能夠把某個物體看得清楚，這正是由於視網膜上具有很多的視桿細胞。
眼睛以不同方式移動，它可以跳躍或移動，稱為掃視，一般每秒鐘為3-4次。靈長類動物的眼睛可以跟蹤某個運動目標，這是一個"平滑追蹤"的過程。令人難以理解的是當你要使你的眼睛沿著靜止的場景做平滑移動時，這幾乎是不可能的，如果你一定要試圖這樣做時，你的眼睛將會做跳躍式的移動，還可以做各種連續的微小移動。不管用什麼辦法使視網膜上的圖像完全保持平穩，那麼在1-2秒鐘後這種視感覺依然會消失。（這個問題將在十五章作更加詳盡的討論。）
把信號從眼睛傳送到大腦的細胞稱為神經節細胞。任何一個特定的神經節細胞只能對視場中某一特定位置上的小光點開啟與關閉有響應，見圖39所示。由於晶狀體把這個光點聚焦到視網膜上該神經節附近的地方，因此它一定要在那個特定的位置上。但這也依賴於眼睛聚焦點的位置。（就像在照相機中，底片上某一特定點的反應既與它在底片上的位置有關，還與照相機聚焦的方向有關。）視場中能夠對一個單細胞活動產生影響的區域稱之為感受野。
在完全黑暗時，神經節細胞的發放常常是很低且無規則的。這種發放稱為背景發放率。有一類神經節細胞叫做ON中心型，即當一個光點投射到感受野中心時，它的發放驟然增加。在這個小的中心以外，圍繞它們有一個圓形範圍。在這個區域上，如果同樣用小光點刺激它時，則發生與之相反的作用。如果光點完全落在環形區域上，則背景發放就完全停止。而當撤光點時，將有一叢脈衝發放（見圖39左側）。
假定視網膜上放置各種大小的光點，使它們的中心位於該細胞感受野的中間區域，正如我們所見，當用小光點刺激時，該細胞就強烈發放，而光點的直徑越大其響應越小。當這個光點大到足以覆蓋中心及圍繞它的環形區域時，則該細胞根本就不發放了。換句話說，感受野中心區域的響應與周邊是相反的，這就意味著任何一個特定神經節細胞對在恰當位置上的光點刺激具有強脈衝發放，而對其整個區域的均勻光刺激並沒有響應。視網膜就是要去掉部分傳入眼睛裡的冗餘信息。它傳送到腦中的正是在視野中的感興趣的信息，在那裡光分布是不均勻的，而要忽略的正是幾乎不變的部分。
與ON中心型細胞數目差不多的另一類細胞是OFF中心型細胞：大略地講，它們與第一類細胞性質正好相反，即當在感受野中心把光點撤走時，它會有強烈的發放（見圖39右圖）。這就說明了許多神經元相當一般的性質，即它們可以把這些峰電位下行傳送到軸突、一個神經元不會產生負向的峰電位。那麼，它們又怎樣傳輸負信號呢、在丘腦或皮層中要找出一個快的背景發放率，比如說200赫茲，這是相當不容易的。如果這樣一類細胞存在的話，通過增加其發放率到400赫茲，則產生一個正的響應，通過降低其發放率至零則產生一個負的響應。通常，替代這種神經元的有另外兩類相當類似的神經元，它們都具有很低的背景發放率，一類是當某一參數增加產生髮放，另一類則對其減少而有響應。當沒有施加任何刺激時，神經元通常也不作出任何反應，更不是200赫茲，這大概是為了保存能量。
如果大腦要傳送在某點按正弦形變化的神經活動，那麼當信號為正的時候則某個神經元發放，當它為負時，則另一個神經元發放。但需告誡的是不能用太簡單的數學函數去描述所發生的一切：，而且，一個真實的神經元常常對輸入的突然變化以初始階段的一叢發放作出響應。而這種時間上的發放模式隨神經元而各異，神經元並不是按照數學家的便利而進化的。
神經節細胞的感受野大小是相當不同的。位於眼睛中心區域的要比外周的感受野要小。節細胞之間相對講相距是比較近的，因此，它們的感受野是相互重疊的，在視網膜上一個光點通常會引起一組相鄰神經節細胞的興奮，即便它們發放程度並不一樣。
神經節細胞並不僅僅只有兩種主要類型，即ON中心或OFF中心。它們實際上還有好多類別，且每類又包含有其亞型，在哺乳動物中這樣的分類方法在各物種間也稍有不同，對於獼猴來說，有兩個主要分類，①有時稱為M細胞和P細胞（M細胞是指Magno，意思為大；P細胞是指Parvo，意思為小）。人眼的神經節細胞與其極為相似。在視網膜的任何地方，M細胞都比P細胞大，而且也具有大的感受野。它們還具有粗厚的軸突，這就使信號的傳導速度加快。同時，M細胞對光強分布中的微小差別敏感，因此它能夠很好地處理低對比度。但是它們的發放率在高對比度時會達到飽和，它們主要用於對視覺場景中的變化發出信號。
P細胞的數量更多，與多數M細胞相比它們的反應具有更好的線性，即正比於輸入。而且它們對細節、高反差及顏色更感興趣。例如P細胞感受野的中心對綠色波長反應很強，但與環繞中心的外周區對紅色波長更敏感。正是由於這個原因，中心與外周具有對不同顏色光的敏感性，則可以把P細胞分成幾類亞型，每種亞型對不同顏色的反差有敏感。在這裡，我們再次看到，視網膜不僅只是傳輸落到光感受器上的原始信息，實際上，它已經開始通過多種方式對信息進行處理。
神經節細胞主要包括M細胞和P細胞，每一類都具有ON中心和OFF中心的感受野，它們通過軸突將信號傳導到丘腦的側膝體，然後再將信息傳輸到新皮層。而且，視網膜也還要將信號投射到上丘（Superior Colliculus），但P細胞並不投射到那裡，儘管一些M細胞和其他各種非主要類型的細胞可以投射到上丘。由於缺乏P細胞的輸入，上丘是色盲的。
在大多數脊推動物中，右眼的神經節細胞幾乎全部投射到左腦的視頂蓋（大致相當於哺乳動物上丘），而左眼與此相反。在靈長類動物中，各種投射更加複雜些。每隻眼睛投射到大腦的兩側，但腦的左中側僅接受與視野中右半部分有關的輸人。
因此，用你右眼中央凹看到的東西，被送到左邊的側膝體，然後再達到左邊的視皮層，見圖40所示，並且也可以到達左邊的四疊體上丘。當然，正常的大腦兩半球通過幾處神經纖維束相互聯繫在一起，最大的纖維束是胼胝體。如果出於醫學的原因，把它切掉（這在第十二章將會討論），這個人的左腦只看視野中的右邊的部分，右腦只看到視野中的左邊，這會產生某些令人很奇怪的結果，幾乎就好像有兩個人在一個腦里。
讓我們先扼要地介紹一下投射到上丘的次級系統。這是低等脊椎動物（如蟾蜍）主要的視覺系統；對哺乳動物，它的許多功能已被新皮層等完成，而其餘的主要功能似乎如眼動的控制，也可能還包括視覺注意的一些方面。
上丘是一個分層結構，主要有三層，稱之為上中下。上層接收來自視網膜的各種輸入，同時也接收來自聽覺系統和其他感測系統