西南夷，是兩漢時期對巴蜀以西、以南地區少數民族的總稱。秦朝時，常頞初步開通了五尺道，聯繫巴蜀與滇池地方，並在沿線派駐了一些官員進行有限的管理。劉邦建立漢朝初年，因國內政局動蕩不定，無暇顧及邊防。北方的匈奴不斷南侵，嶺南的趙佗自立為南越王，西南方面的五尺道也被迫放棄。經過文景之治，漢朝的國力逐漸強盛。武帝即位後，改防守為擴張，在西南方向的主要舉措，就是開通西南夷道。
西南夷道由通向西夷與南夷的兩條路線組成，通向南夷地區的稱夜郎道，通向西夷地區的稱靈關道。
夜郎是我國西南地區少數民族建立的一個古國，秦漢之際曾與巴蜀、南越有過交通來往，但道路極其險阻。「以地圖察其山川要塞，相去不過寸數，而間獨數百千里，阻險林叢弗能盡著。視之若易，行之甚難。」漢使唐蒙出使南越番禺時，南越人請唐蒙吃枸醬。枸醬是蜀地特產，怎麼會在嶺南出現？唐蒙一打聽，原來是通過牂牁江運來。牂牁江廣數里，直達番禺城下，西北通夜郎。唐蒙由此知道蜀地與嶺南有水路可以相通。建元六年（前135年），唐蒙上書漢武帝，以夜郎兵去打南越：「竊聞夜郎所有精兵，可得十餘萬，浮船牂牁江，出其不意，此制越一奇也。」漢武帝任命唐蒙為郎中將，率兵千人、後勤人員三千人，從巴蜀筰關入夜郎，脅迫夜郎內附，置犍為郡（治所在今四川宜賓西南）。元光五年（前130年），發巴蜀兵卒千餘人，修築僰道至牂牁郡的道路，經僰道（今四川宜賓）、南廣（今四川筠連西南）至平夷（今貴州畢節），史稱為夜郎道。次年，西漢又在南夷道上設置驛亭。
靈關道又稱靈光道、旄牛道。元光五年（前130年），蜀人司馬相如上書漢武帝：「西夷卭、筰可置郡。」漢武帝任命司馬相如為郎中將，出使西夷，建越雋郡，並建成靈關道。靈關道東起犍為，接夜郎道，西至旄牛（今四川漢源南），然後南行至越雋郡。由越雋郡往南，可通今雲南大理、保山一帶，最遠達到滇池地區。
漢武帝開西南夷道，花費了很大的人力、物力才得以完成。唐蒙開夜郎道，時間超兩年：「唐蒙已略通夜郎，因通西南夷道，發巴、蜀、廣漢卒，作者數萬人。治道二歲，道不成，士卒多物故，費以巨萬計。蜀民及漢用事者多言其不便。」開靈關道，是以非常富庶的巴蜀四郡之財力、人力舉行。由於受地形、氣候等自然環境的限制，而且西南少數民族也不願意歸順，開拓工程進行了數年仍沒有完成，於是成為一項舉全國之力進行的工程：
當是時，漢通西南夷道，作者數萬人，千里負擔饋糧，率十餘鍾致一石，散幣於卭僰以集之。數歲道不通，蠻夷因以數攻，吏發兵誅之。悉巴蜀租賦不足以更之，乃募豪民田南夷，入粟縣官，而內受錢於都內。東至滄海之郡，人徒之費擬於南夷。
與此同時，漢與匈奴之間的戰爭還在進行，軍費開支巨大。最後，在公孫弘建議下，漢武帝放棄對西夷的征伐，一心致力於北部邊疆對匈奴的戰事。歷盡艱辛開通的西南夷道，成為聯繫巴蜀與雲貴高原各部族的重要通道，漢文化也由此通道傳入西南地區。但是，這種聯繫在漢代是相當不穩定的，巴蜀與外界的交通聯繫，仍以北方和東方為主，漢文化對西南地區的影響也是有限的。