契丹族在建立國家以前，經歷了漫長的發展過程。契丹族長期流傳著古老的傳說：在不能確指的時代，有男子乘白馬自潢河（西拉木倫河）而來，女子乘青牛車自土河（老哈河）而來，相遇為配偶，生八子。他們的子孫組成為八個部落。這個傳說表明：契丹自母系氏族制過渡到父系氏族制時，主要的活動地區即在潢河、土河流域。互為兄弟的八個部落來自共同的男祖先。
歷史文獻上關於契丹族的確實記載，開始於北魏登國四年（389）。北魏時，契丹各部落已開始對外擄掠，並以馬匹、皮毛與北魏交換物品。八個部落各自獨立活動，並未形成聯合。八部落的名稱是悉萬丹、阿大何、具伏弗、郁羽陵、日連、匹黎爾、叱六於、羽真侯。他們經營游牧生活，以車馬為家，逐水草遷徙。
北朝時，契丹一再遭到北魏和北齊的打擊，對外的發展受到阻遏。隋朝時，隋將韋雲起曾發大軍攻打契丹，契丹遭到慘重的失敗，喪失了大批的人口和牲畜。對外作戰的需要促使契丹各部走向聯合，每部兵多者三千，少者千餘。有征伐由酋帥聚議，興兵則合符契。唐朝初年，契丹八部開始組成部落聯盟。聯盟長由大賀氏選充，有勝兵四萬。契丹別部孫氏（審密）與大賀氏聯盟通婚姻。此外，還有一些契丹部落受唐朝統轄，不在聯盟之內。唐太宗貞觀時，大賀氏聯盟依附於唐朝。唐朝在契丹住地設松漠都督府，加號大賀氏聯盟長為松漠都督，賜姓李氏。各部落長稱刺史，唐朝以營州都督控制松漠。
武則天統治時期，契丹大賀氏聯盟長李盡忠（唐所賜姓名）與別部孫萬榮，殺唐營州都督趙文翙，佔據營州（遼寧大小凌河流域，治柳城，今朝陽）一帶反唐。武則天派遣二十八名大將出擊契丹。李盡忠在作戰中敗死。孫萬榮代領部眾南下，武后發大軍出戰，大敗，孫萬榮攻掠幽州（今北京）。唐朝再發大軍出擊，並聯絡契丹鄰族奚兵夾擊契丹，孫萬榮敗死。契丹大賀氏聯盟遭到沉重打擊。這時，突厥又在北方建立強大的國家。契丹背唐，依附於突厥，約二十年。
唐玄宗時，突厥逐漸衰落，契丹聯盟長失活再度附唐。唐朝仍加號松漠都督，又號靜析軍大使。大約從突厥統治時期，聯盟中統領兵馬的軍事首長的地位益加顯要，唐朝加號為靜析軍副大使。軍事首長可突於一再操縱聯盟長的選舉，甚至殺死大賀氏聯盟長。最後推翻了世選的大賀氏，又背唐依附突厥。開元二十二年（734），唐朝聯合契丹大賀氏聯盟以外的乙室活部的部長郁捷，斬可突於。唐封郁捷為松漠都督。二十三年，郁捷又被部落貴族涅里殺死。涅里擊敗突厥，背唐自立，重建起契丹部落聯盟。
涅里重建的部落聯盟，自遙輦氏貴族中推選聯盟長，號稱可汗。涅里任軍事首長，稱夷離堇。新建的聯盟，以乙室活部為基礎，劃分為乙室、迭剌兩部。戰亂中流散的其他部落和氏族，被收集編組成六部，以符合八部的傳統。遙輦氏聯盟其實是乙室、迭剌兩個兄弟部落與其他流散部落氏族的結集。聯盟夷離堇，由迭剌部中選任。天寶四載（745），回紇可汗推翻突厥，建立回紇汗國。此後約一百年間，契丹處於回紇汗國的統治之下，發展是緩慢的。
開成五年（840），回鶻汗國滅亡，唐朝也已處於衰落的時期，契丹由此得到發展的有利條件。唐懿宗咸通（860～873）以後，遙輦氏鮮質可汗時，契丹不斷向外擴張，從鄰近的奚族和北方的烏古、室韋等族以及漢人地區，擄掠居民，以充奴隸。痕德堇可汗時，迭剌部貴族耶律億當選為聯盟的夷離堇。天復二年（902），他攻掠唐朝的河東代北九郡，俘掠生口九萬五千餘。天祐二年（905），耶律億又進攻唐盧龍節度使劉仁恭的領地，俘回各州漢人居民。次年，耶律億取代遙輦氏，充任聯盟長可汗。此後十年間，他又鎮壓了契丹貴族的反抗，在916年，建元神冊，建立了契丹國家。