北鳥飛不到，北人今去游。
天涯浮瘴水，嶺外問潘州。
草木春冬茂，猿猱日夜愁。
定知遷客淚，應只對君流。
——〔唐〕李頻《送孫明秀才往潘州訪韋卿》
「日啖荔枝三百顆，不辭長作嶺南人。」這是北宋大文學家蘇軾（東坡）的著名詩句，表達了他對嶺南風物的喜愛。但是，在早期中原人眼中，嶺南卻是一個草莽榛榛、瘴癘籠罩的蠻荒之地。
就民族地理構成而言，從先秦到秦漢前期，嶺南之地是古代越（粵）人的天下。因其種類眾多，故被稱為「百越」。如唐代學者顏師古在《漢書地理志注》一文中引述臣瓚之言曰：
自交趾（今越南北部）至會稽（今浙江紹興）七八千里，百越雜處，各有種姓。
據此可知，在秦漢時期，從江浙以南到今天的越南北部地區的廣袤地區，廣泛分布著不同族種類的越民。就地理差異而言，南嶺（又稱為五嶺，即由大庾、騎田、萌渚、都龐、越城五嶺組成）一線也是中國的一條重要的地理分界線，不僅是華中與華南的分界線，也是長江水系與珠江水系的分水嶺，還是中亞熱帶與南亞熱帶的分界線。嶺南地區的自然環境與中原地區差異懸殊。後來，漢朝淮南王劉安曾經為了阻止漢武帝征伐閩越國，上書極言南方地區的險惡環境：
……越，方外之地，劗發文身之民也。不可以冠帶之國法度理也。自三代之盛，胡、越不與受正朔，非強弗能服，威弗能制也，以為不居之地，不牧之民，不足以煩中國也。……自漢初定已來七十二年，吳、越人相攻擊者不可勝數，然天子未嘗舉兵而入其地也。
臣聞越非有城郭邑里也，處谿谷之間，篁竹之中，習於水戰，便於用舟，地深昧而多水險，中國之人不知其勢阻而入其地，雖百不當一。得其地，不可郡縣也；攻之，不可暴取也。以地圖察其山川要塞，相去不過寸數，而間獨數百千里，阻險林叢，弗能盡著。視之若易，行之甚難……
南方暑濕，近夏癉熱，暴露水居，蝮蛇蠚生，疾癘多作，兵未血刃而病死者什二三。雖舉越國而虜之，不足以償所亡。
劉安所言，包含了相當豐富的有關嶺南的自然地理與歷史文化知識，並非完全的誇大不實之詞。越民與中原地區在文化風俗上存在很大的不同，而且自先秦以來，始終沒有劃入中原政權的統治範圍。當時中原人所熟知的最大的兩個越族王國——吳國與越國之間長期爭戰不休。中原政權的統治者們之所以長期沒有染指百越地區，主要是因為對於中原華夏族來說，越族地區的自然環境過於惡劣，中原人進入之後，常常或因水土不服，或因疾癘險阻，而遭受到重大傷亡，以致讓後來有心南下的人們萌生畏懼情緒，裹足不前。
然而，惡劣的自然環境並沒有完全阻擋中原移民的腳步。秦朝統一六國後，積極向楚國以南地區拓展，在征服當地主要民族「楊越（或作揚粵，『粵』與『越』相通）」後，先後在嶺南地區設置了桂林（治今廣西桂平縣西南古城）、南海（治番禺縣，今廣東廣州市）、象郡（治今廣西崇左縣）。嶺南三郡的設置，是秦朝疆域與政區建設的重要成就。為了有效維護疆域建設的成果，秦朝在南方建置政區的同時，實施了較大規模的移民活動，當時向南方地區移民的主體為所謂「謫徙民」，即因各種原因被貶斥流放的人們。這些「謫徙民」應該是南越地區最早的漢族移民，我們看到，這些中原移民為南越王國的建立發揮了重要作用。
南越王國正是在秦朝嶺南三郡（桂林、南海、象郡）的基礎上建立起來。曾經擔任秦朝南海郡尉的任囂富有遠見，認為「南海僻遠」，在中原喪亂的狀況下，當地形勢足以割據自守，建立起一個獨立的王國。後來，當陳勝、吳廣等人揭竿而起，秦朝統治陷入土崩瓦解之時，任囂不幸一病不起，在他臨終之時，他極力勸說時任龍川令的趙佗閉關自立，他分析說：
……且番禺負山險，阻南海，東西數千里，頗有中國人相輔，此亦一州之主也，可以立國。
任囂在分析南越建國基礎時，著重強調了兩方面的因素：一是自然環境，如重山環繞，道路險峻，幅員廣闊，易守難攻；二是民族構成，如「頗有中國人相輔」等等，可以證明，時至秦朝末年，在當地人口中，漢族移民（即所謂「謫徙民」）的數量已相當可觀，足以成為建立割據政權的堅實基礎。趙佗本人卻是一位地地道道的中原移民。他的原籍就是秦朝真定郡（治今河北正定縣南）人。趙佗沒有辜負任任囂的期望，在兼并桂林、象郡後，合三郡為一體，自立為「南越武王」，建立起一個獨立的王國。漢朝建立之初，無力南討，派遣使者封立趙佗為南越王。至西漢呂太后執政期間，南越國與漢朝交惡，趙佗公然獨立，自號為「南越武帝」，役屬周邊小國，疆域面積膨脹，「東西萬餘里，廼乘黃屋左纛，稱制，與中國侔。」
孝文帝即位後，注重以故土之情來感化趙佗，重修趙佗父母的墳塋地，並專門設置守邑，「歲時奉祀，」而且以高官、厚禮賞賜趙佗的親屬。這一切安撫行動收到了不錯的效果。趙佗主動提出去除帝號，他在回覆漢朝皇帝的書信中還深切表達了他的中原情愫：「……老夫身定百邑之地，東西南北數千萬里，帶甲百萬有餘，然北面而臣事漢，何也？不敢背先人之故。老夫處粵四十九年，於今抱孫焉。然夙興夜寐，寢不安席，食不甘味，目不視靡曼之色，耳不聽鐘鼓之音者，以不得事漢也。今陛下幸哀憐，復故號，通使漢如故，老夫死骨不腐，改號不敢為帝矣！」
後來，當趙興即位南趙王時，太后摎氏為來自邯鄲（今河北邯鄲市）的中原移民，她堅決主張歸依漢朝，與土著派官僚呂嘉展開了激烈的鬥爭。呂嘉最終起兵反叛，攻殺南越王趙興與太后。漢武帝為此派遣大軍南征，順利佔領南越國首府番禺，南越王國最終歸入漢朝版圖，漢朝在南越王國的疆域內開設九郡，這九郡分別為：儋耳、珠崖、南海、蒼梧、鬱林、合浦、交阯、九真、日南。
後來，大批南下嶺南任職的中原地區官員為嶺南地區的發展作出了自己的貢獻。如據《後漢書·任延傳》記載，中原人錫光在西漢平帝在位時期任交阯太守。他「教導民、夷，漸以禮義，化聲侔於（任）延。」任延則於東漢建武年間任九真太守，「九真俗以射獵為業，不知牛耕，民常告糴交阯，每致睏乏。延乃令鑄作田器，教之墾闢。田疇歲歲開廣，百姓充給。」同時傳授儒家禮義之道，影響深廣，故而，「領（同嶺）南華風，始於二守（即錫光、任延）焉。」也就是說，兩位太守被公認為在嶺南地區傳播華夏文化的先驅者。
東漢末年，中原大亂，而嶺南地區相對安定，於是，交州成為中原人士爭趨的避難地。此外，時任交阯太守的士燮禮賢下士，更成為吸引漢族士大夫前來的重要因素之一。士燮本人就出身於一個移民家族。他的祖先原為魯國汶陽（治今山東寧陽縣東北）人，在西漢末年王莽之亂時避難交州，從此定居下來。董卓之亂後，交州地區也陷入淆亂之中。士燮兄弟數人分別為交阯、合浦、九真、南海諸郡太守，獨攬大權，威震嶺外，重新上演了西漢初期趙佗割據嶺南的故事，當時的交州又儼然成為一個獨立王國。「燮兄弟並為列郡，雄長一州，偏在萬里，威嚴無上。出入鳴鐘磬，備具威儀，笳簫鼓吹，車騎滿道，胡人夾轂道焚香者常有數十。妻妾乘輜𫚒，子弟從兵騎，當時貴重，震服百蠻，尉他（即趙佗）不足逾也。」
學者出身的士燮愛護儒士，勤於著述，引來大批中國士大夫前來投靠。「燮體器寬厚，謙虛下士，中國士人往依避難者以百數。」當時避難居住於當地的名士不乏其人。如程秉「汝南南頓人也，逮事鄭玄，後避亂交州，與劉熙考論大義，遂博通五經，士燮命為長史。」又如薛綜「沛郡竹邑人也，少依族人，避地交州，從劉熙學。」兩位共同師事的名士劉熙為漢末著名學者，同樣是為來自中原的移民，他為嶺南地區文化發展作出了卓越的貢獻。明人歐大任所著《百越先賢志》卷三較全面地總結了他的事迹：「劉熙，字成國，交州（即治番禺）人，先北海（郡，治今山東昌樂縣東南）人也。博覽多識，名重一時。薦辟不就，避地交州，人謂之『徵士』，往來蒼梧、南海，客授生徒數百人，乃即名物以釋義，惟揆事源，致意精微，作《釋名》二十七篇，自為之序。又著《謚法》三卷，皆行於世。建安末，卒於交州。」劉熙所著《釋名》，是中國古代訓詁學名著，為歷代學者所推重。
關於中原移民（特別是漢族移民）與嶺南文化進步之間的密切關係，曾身為中原移民的薛綜進行了較全面的總結：
……漢武帝誅呂嘉，開九郡，設交阯刺史以鎮監之。山川長遠，習俗不齊，言語同異，重譯乃通，民如禽獸，長幼無別，椎結徒跣，貫頭左衽，長吏之設，雖有若無。自斯以來，頗徙中國罪人雜居其間，稍使學書，粗知言語，使驛往來，觀見禮化。及後錫光為交阯，任延為九真太守，乃教其耕犁，