蒙古貴族在西徵得勝以後，主力揮師東進、南下，於至元十六年(公元1279年)滅掉南宋。在同南宋的作戰中，蒙古貴族不斷地從中亞一帶調來軍隊。在東來的蒙古軍隊中，有大批的阿拉伯人和信奉伊斯蘭教的波斯等中亞人。其中主要是士兵和工匠，也有商人和社會上層人物。這些人當時統被稱之為「回回」，歸於「色目人」一類。回回士兵是「探馬赤軍」的重要成分。這些穆斯林隨著蒙古貴族對全中國的征服而散佈於東西南北各地，西北、西南、中原、江南尤多。所以，《明史》說：「元時回回遍天下。」戰爭硝煙熄滅後，他們大部退役，成為普通農民，集中居住，進行農墾。這就是所謂「民屯」。還有「軍屯」，就是軍隊一邊戍守，一邊墾殖。此外，回回工匠也多以軍事編製進行手工業生產。這是造成後日回回「大分散，小集中」局面的歷史根源。如果說唐宋兩朝中國穆斯林在分布上還只是一個一個孤立的點，那麼在元朝，中國穆斯林在分布上不僅連接成了線，而且鋪成了面。在雲南省，元時穆斯林業已「盈千累萬」。元末至順年間(公元1330—1333年)，鎮江地方共有戶數3845戶，其中漢人3672戶，蒙古人29戶，回回59戶；共有人數10555口，其中漢人9407人，蒙古人163人，回回374人。無論就戶數還是就人口數來說，在非漢族中回回都占第一位，高於蒙古族。
在唐宋時期，中國穆斯林大都居住在城市，經濟活動主要限于海內外商業貿易方面。到了元朝則發生了歷史性的轉變。穆斯林不但在城市有，而且在農村也有，並以後者為主。他們不但從事商業貿易，而且從事農業生產和手工匠作，並以後者為主。這為後來回族的形成奠定了經濟基礎。除為官者外，無論在農村還是在城市都以聚居為主。這種聚居方式對於伊斯蘭教的鞏固和發展是非常有利的，同時也促進了穆斯林社會的形成。
元代東來的阿拉伯人和波斯等信仰伊斯蘭教的中亞人，是後來回族的骨幹成分。
元朝時期中國西鄰各伊斯蘭國家也在蒙古人的統治之下，中國西部邊界實際上處於開放狀態；同時「色目人」在中國又屬於統治階層，這種情況無疑為伊斯蘭教迅速地向東發展提供了方便條件。
為了便於管理迅速發展的伊斯蘭教宗教事務，元朝設置了「回回掌教哈的所」這一官署。
蒙古開國諸汗大都執行宗教寬容政策。人們可以自由地信奉原有的宗教。各種宗教地位一律平等。但是，每個汗王又有自己所偏好的宗教。據說窩闊台汗比較喜歡伊斯蘭教，其皇后的一個女官是穆斯林。元世祖忽必烈在皇后察必可敦慫恿下，尊崇佛教。元朝的藏傳佛教(喇嘛教)處於國教地位。有一次在議論各種宗教得失的時候，忽必烈把佛教喻為手掌，把道教、儒教、基督教、伊斯蘭教比作手指。在1282年的阿合馬事件以後，他表現出「抑回」傾向。英宗時更加崇尚佛教，歧視伊斯蘭教，至治元年(公元1321年)5月毀上都(位於今內蒙古正藍旗)禮拜寺，改建八思巴帝師殿。泰定帝繼位後，平衡各種宗教，籠絡穆斯林。丞相倒剌沙和平章政事伯都烏拉都是穆斯林。泰定帝元年(公元1324年)由國庫撥銀四萬錠，復建了上都及大同路禮拜寺。
「回回掌教哈的所」是一個中央機關。「哈的」是阿拉伯語音譯，意為教法執行官。估計在地方行省應有其下屬機構。在中國歷史上，這是第一次設置全國性伊斯蘭教管理機構。「回回掌教哈的所」的負責人就叫做「哈的」，或稱為「回回大師」，主管宣教、教法等事宜。這一官署大概初置於元初，在至大四年(公元1311年)第一次被廢除。這就是說，該年取消了伊斯蘭教的中央管理機構，各地哈的可自行履行職務，不再有上下的隸屬關係。第二年即皇慶元年(公元1312年)元朝皇帝又發布聖旨，對各地回回哈的的職責作出明確規定，哈的只管「掌教念經」，而回回人的戶婚、錢糧、訴訟等大小公事「悉歸有司」，哈的們不得過問。從中也可以看出，在回回掌教哈的所存在期間，回回的戶婚、錢糧、訴訟等事，如果不是由哈的主管的話，至少他們也要過問。此後，哈的的基本許可權由官方准許的只是「掌教念經」。回回掌教哈的所在泰定帝當政的四年里(公元1324—1328年)曾經復置。文宗繼位後於天曆元年(公元1328年)再次被廢除。此後，這一機構似乎再沒有恢複。哈的所被撤銷後，哈的及伊斯蘭教事務很有可能劃歸宣政院管理。宣政院是元朝設置的管理佛教及吐蕃事務的中央機關。在一些地方，例如河州(今甘肅臨夏)，有其下屬機構。我們可以看到，在宣政院所頒布的具有法律性質的一些規定中，有的內容就涉及伊斯蘭教。
除哈的掌教制外，中國伊斯蘭教的「三掌教制」也始於元代。其具體職能將在後面介紹。
元代伊斯蘭教尚無固定的名稱。稱其為「真教」者有，稱其為「清教」者也有。「回回教」或「回教」這一稱呼在元代後期可能已經十分通行。不過，元代穆斯林則早已被稱之為「回回」了。在「回回」中如果細分之，又有「答失蠻」、「迭里威失」、「木速魯蠻」(或「木速蠻」)等等稱謂。「答失蠻」是宗教學者階層，包括宗教職業人士。「迭里威失」是蘇非派托缽僧。「木速魯蠻」(元代蒙古白話文常常寫做「木速魯蠻回回每」)，是廣大穆斯林群眾。這三種稱謂都是波斯語的對音。
在元代穆斯林中，宗教學者、宗教職業者佔有多大比重，缺乏直接的史料。特別是全國的情況，更不好貿然去說。但在元末的方誌上有些間接的記載。雖有管窺蠡測之嫌，總可以搞清一些問題。元末寧波回回納稅戶科定24戶，其納銀48兩。其中普通穆斯林戶19戶，納銀37.2兩，宗教職業戶二戶，納銀4.8兩，由一般教徒而充任政府譯員(翻譯阿拉伯語)者三戶，納銀六兩。宗教職業者戶同一般教徒戶之比為1：11，即11戶教徒有一戶宗教職業者。普通教徒戶每戶納銀1.96兩，不到二兩。宗教職業者戶每戶納銀2.4兩，高於普通教徒戶。譯員戶每戶納銀二兩，高於普通教徒戶，但低於宗教職業者戶。
元代中國伊斯蘭教出現了專門辦教的人員，這是一個非常重要的新現象。它是由蒙古貴族西征後東侵南下而移植過來的：這些答失蠻、哈的、回回大師、迭里威失，等等，幾乎完全是隨蒙古軍隊東來中國的。他們在原居地阿拉伯地區或中亞一帶本來就具有現在這樣的身份。
在蒙元初期，中國伊斯蘭教的發展道路有些畸變。同唐宋時期截然不同的是，它存在著被納入伊斯蘭教文化圈的可能性。但在世祖忽必烈推崇佛教後，這種可能性大大地減少了。元代，也只是在元代，中國伊斯蘭教才真正地出現了宗教職業者階層。
元朝社會成員分四個等級，即蒙古人、色目人、漢人和南人。穆斯林是構成色目人的主要成分之一，其地位僅次於蒙古人，屬於統治階層。在政治上，穆斯林是蒙古貴族的依靠對象，當官者頗眾，甚至有的位居宰相。在經濟上，海內外貿易以及「百工技藝」多為穆斯林所壟斷。元朝的中央和地方行省有專門為穆斯林所設之官，純屬因人設事。元朝在中央政府任過宰相之職的穆斯林有17人；在地方政府任過要職的有32人。在司法、蔭敘、科舉等方面，穆斯林所享受的權利高於漢人和南人。答失蠻階層曾經享受過免賦、免差、免役的特殊待遇。這種待遇在某些地方一般回回戶似乎也享受過。
但是，元朝後期穆斯林的社會地位有所下降。
在元本土，從世祖忽必烈開始直至元亡，一直推崇佛教。而有些汗國，由於受伊斯蘭文化的影響，則逐漸伊斯蘭化。
阿難答是忽必烈之孫，忙哥剌之子，至元十七年(公元1280年)蔭襲「安西王」，駐地在西安。大德十一年(公元1307年)因爭奪皇位失敗被誅。阿難答幼時受教穆斯林，因而非常喜歡這一宗教。年長後，他改信伊斯蘭教。他能默誦《古蘭經》，並寫得一手漂亮的阿拉伯字。在阿難答的帶動和鼓勵下，他所統帥的15萬大軍的多數皈依了伊斯蘭教。這是元代伊斯蘭教發展史上的重要事件。
在察合台汗國，察合台曾孫八剌在其當政時期也改信了伊斯蘭教，時在至元二年(公元1265年)。據說延祐七年(公元1320年)怯別繼位時，這個汗國正式走上了伊斯蘭之路。
在中國，即使是在元朝，穆斯林都必須學習傳統文化。內地情形尤其如此。一方面，中國穆斯林必須接受傳統文化的教育。不管其主觀願望如何，是主動的抑或是被動的，都必須這樣做。另一方面，對於中國穆斯林來說，科舉同樣是一條不可替代的生活出路。從穆斯林參加科舉，可以看出，傳統文化對伊斯蘭教產生了多麼深刻的影響。
元代有回回國子學，是國家最高學府，隸屬於國子監。至元二十六年(公元1289年)始置。延祐元年(公元1314年)另置回回國子監。凡蒙古、色目、漢人官員子弟皆可入