在非洲和亞洲中間，有一片叫做阿拉伯的大沙漠。在大沙漠的北方，有一塊特別富饒的土地。它的形狀像一彎新月，被稱為「新月形沃土」。4000多年以前，一個被叫做「塞姆族」（又被稱為「閃族」）的游牧民族為了尋找水草，趕著他們的羊群在這片沙漠中到處尋找牧場。塞姆族中有一支叫做希伯來人的部落，希伯來人想佔有新月形沃土中一條狹長地帶，就是今天的巴勒斯坦。但是這裡早已被一個叫做迦南人的部落佔領。為爭奪這塊土地，希伯來人同迦南人進行了許多年的戰爭。迦南人十分英勇，希伯來人根本就不是對手。
大約在公元前1700年，族長以色列帶領所有的希伯來人離開了巴勒斯坦，經過千辛萬苦，來到了尼羅河三角洲東部的草原，並在那裡定居下來，安定地生活了幾百年。
大約在公元前1300年左右，埃及的法老拉美西斯二世要建造兩座巨大的宮殿。他把希伯來人變成了奴隸，讓他們開山挖石，服各種苦役。過了幾十年，拉美西斯二世死了，埃及受到來自四面八方的野蠻民族和海盜的入侵。
希伯來人的首領摩西乘機帶領全族人越過紅海，逃出了埃及。在逃離埃及的行程中，摩西看到他的族人對命運失去了信心，十分痛苦。一天，當他們經過西奈山麓的時候，摩西爬上山頂。在山頂，摩西呆了足足40天。下山後，他對色列人說，他見到了耶和華（希伯來人敬奉的神），並得到他的聖諭，有了它希伯來人就能交好運。後來，摩西成了猶太教的創始人。
當時的希伯來人還分成了許多小部落。其中較大的部落，一個叫以色列，一個叫猶太。就在猶太民族四分五裂的時候，有一個名叫掃羅的勇敢的年輕人，在一次迎擊敵人的進攻中表現得十分勇猛、機智和果斷，成了全體希伯來人尊敬的英雄。掃羅死後，一個有勇有謀，名字叫大衛的青年登上了王位。他曾經是一個強盜頭，後來被掃羅收服，成了掃羅的帶兵官。大約在公元前1000年，大衛率領猶太人將腓力斯丁打敗，並從腓力斯丁人手中奪回了聖物「約櫃」。
不久，大衛的軍隊又攻下迦南人的一個叫耶路撒冷（意思是「和平之城」）的小城市。因為大衛出身猶太部落，他就把他建立的國家稱為猶太王國，並把首都建在耶路撒冷，將聖物「約櫃」供奉在耶路撒冷的神殿中。大衛還在耶路撒冷大興土木，修建宮殿和神殿，自己也過上豪華的帝王生活。大衛死後，他的兒子所羅門繼承了王位。所羅門是一個很聰明的國王。一天，一名官員帶著兩個婦女和一個孩子到所羅門那裡。他對所羅門說，這兩個婦女都說孩子是自己的，他無法判定，因此他只好將她們帶到這裡。所羅門稍想了一下，就對手下人說，既然無法判定誰是孩子的母親，那就用劍將孩子劈成兩半，兩人各得一半。這時，其中的一個婦女大哭起來，向所羅門請求，她不要孩子了，只求不要傷害孩子，另一個婦女卻無動於衷。所羅門哈哈一笑，對那個官員說：「現在你該知道，誰是那個孩子的真正的母親了吧。任何一個母親都不會讓別人傷害自己的孩子的。
所羅門時代是猶太人歷史上最繁榮的時代。所羅門同時也是一個比他父親更加追求享受的國王。他下令繼續修建許多的宮殿和神殿，其中最宏偉的是位於耶路撒冷小山上的宮殿和猶太教聖殿。耶和華的「約櫃」也被送到新落成的聖殿中。在以後的很長時間內，這個聖殿成了團結猶太人的象徵。
公元前586年（中國春秋的時候），猶太國被巴比倫滅亡，耶路撒冷全城的猶太人都成了俘虜，被稱為「巴比倫之囚」。60年以後，巴比倫又被波斯征服了。波斯王居魯士釋放了囚禁在巴比倫的猶太人。但是，猶太人在回到耶路撒冷之後，並沒有過上和平的生活，不時遭到外族的侵犯。猶太人在絕望中，只好把希望寄託於「彌賽亞」（救世主）的來臨。在「巴比倫之囚」5個世紀之後的公元66年，羅馬總督提圖斯掠奪耶路撒冷神殿和宮殿里的寶物，遭到猶太人的堅決反抗。鬥爭持續了４年，到公元70年，整個耶路撒冷被提圖斯淹沒在血泊中，他屠殺了全城的猶太人，另外有9.7萬人被變賣為奴隸，有的送到礦山採礦，有的成了羅馬斗獸場的角鬥士。
此後，猶太人便離開了耶路撒冷，散落到世界各地。有的甚至來到中國，居住在開封等地。一直到第二次大戰之前，猶太民族仍然是一個沒國家的民族。