討論犬牙相入原則必須先從一個故事說起。劉邦的兒子代王劉恆(即後來的漢文帝)，在周勃等大臣的幫助下，肅清了呂后的黨羽，登上了皇帝的寶座以後，給割據嶺南的南越國主趙佗寄去一封信，建議漢與南越罷兵休戰，和平相處。信末並附了這麼一段話：「朕欲定犬牙相入者，以問吏，吏曰：『高皇帝所以介長沙土地』，朕不得擅變焉。」
由漢文帝的信中我們可以推論，趙佗起先一定給漢廷發去一封信，表示調整劃一邊界的願望，但漢文帝不肯答應。那麼犬牙相入到底是什麼意思，漢文帝又為什麼不願把邊界劃得整齊一些，而要堅持犬牙相入的狀態呢？
我們很幸運，在2000年後的今天，竟然還能看到這條有名的邊界的原貌。1977年，湖南長沙馬王堆漢墓發掘出極為珍貴的西漢時期的帛地圖。這幅地圖上南下北，與今天地圖方向相反。圖幅的主要部分是當時長沙國南部的地形及縣、里(各以方框和圓圈表示)的分布。在圖的最上方又畫出南海及注入其中的珠江水系。珠江流域是南越國的範圍，圖上只作簡略表示，除封中兩字外，未標出任何地名。在南越國與長沙國之間，有一條橫亘東西的山脈，這就是南嶺，當時是兩國之間的界山。
我們進一步發現，在圖的左上角，有一個桂陽縣(今廣東連縣)，位於南嶺以南、湟水(今北江支流連江)之源。這個縣雖在南嶺以南，但卻不屬南越國，而屬南嶺以北的長沙國，可見南越與長沙之間又不全是以南嶺為界。文帝復趙佗信中所謂的犬牙相入，指的正是兩國邊界與南嶺山脈走向不相重合的這一現象。這種形勢使趙佗時刻感到自己北部邊界的不穩固，所以亟想將邊界調整到與南嶺重合，以便能憑山為險，保持割據局面的安定。而這也正是漢文帝不肯答應的原因，因為在他那方面，是時刻不忘要統一嶺南的，儘管當時力量有所不足，但威懾的形勢卻是要保持的。
漢文帝申述邊界不能改變的理由是：「高皇帝所以介長沙土也。」其實這只是一個託詞：西漢長沙國與南越國之間的邊界是沿襲秦長沙郡和南海郡的邊界而來。因為秦亡之時，趙佗以南海尉擊並桂林、象郡，自立為南越武王，領三郡之地。當時劉邦與項羽正逐鹿中原，無暇顧及嶺南，這條邊界就維持了下來。漢初以長沙郡置諸侯王國，也無力收復南越地，名義上封趙佗為外諸侯，實際上以敵國相處。漢文帝當然不便提及此邊界是前朝遺制，只能借口說是劉邦所定。
由此可見，以秦始皇的遠見卓識，為維護高度中央集權制，已開始採用犬牙相入原則，以嚴密控制地方。這一措施在當時是十分必要的，因為嶺南地區離統治中心過於遙遠，又是花了很大力氣才最後征服的領土，儘管已派了大批戍卒前去守衛，但若不用犬牙相入的手段，一旦有事，該地還是很容易脫離王朝版圖的，後來的事實證明當時的預見是正確的。秦代設計的犬牙相入方案，不但使長沙郡的桂陽縣深入嶺南，還使象郡的鐔城縣越過嶺北。這一狀態，使後來漢武帝的軍隊得以在短的時間內，就一舉擊敗南越國的抵抗，將嶺南地區統一到漢王朝中。
秦代劃分郡界的基本原則是山川形便，又在局部地區輔以犬牙相入的原則。但後一條原則的實行只是使郡界和山川的走向不完全吻合而已，並非與之完全背離，如後來的元明兩代那樣。秦代的嶺南地區仍然保持其自然區域的大致的完整性。
犬牙相入的原則不但應用在山地，到漢代也應用到平原地帶；不但用於郡與郡之間，也用於王國與王國之間，其目的則是為了使各王國互相牽制，共同維護漢王室的穩固。《史記·孝文帝紀》載：「高帝封王子弟，地犬牙相制，此所謂磐石之宗也。」司馬貞《史記索隱》解釋說：「言封子弟境土交接，若犬牙不正相當而相銜入也。」「犬牙相制」在《漢書》中作「犬牙相錯」，意思一樣。這一策略在吳楚七國叛亂時也起了作用，使中央政府得以迅速平息叛亂。
秦漢時期萌發的犬牙相入原則為歷代所沿用。即使隋唐大部州郡都遵從山川形便原則的情況下，犬牙相入的措施也並未完全丟棄。如以出瓊花而名聞天下的揚州，隋煬帝時改為江都郡，該郡就地跨長江南北；又如以今江西撫州為中心的臨川郡境也踞武夷山之東西；唐代的陝州(治今河南三門峽市)也地跨黃河兩岸。唐初的道嚴格以山川劃界，但中期有所調整，如河東道就領有黃河以南的虢州(今河南西北角)。但這樣的例子不多，隋和唐前期的州、郡、道一般都是不跨越重要山川的兩側的。
安史之亂以後，唐朝政府在各地遍設方鎮，「要衝大郡，皆有節度之額」。這時朝廷開始考慮以犬牙相入的原則以控制方鎮。如濠州在唐前期屬淮南道，唐德宗時割屬以淮北徐州為中心的徐泗濠節度使。這件事在20多年後受到唐憲宗的宰相李吉甫的嚴厲批評，認為這是當時宰相竇參「不學無術，昧於疆理」的緣故，這個批評毫無道理。因為濠州(今鳳陽)與壽陽(今壽春)阻淮帶山，本為淮南之險，若淮南節度使憑險抗上，朝廷將無能為力。因此中央政府有意破淮南之險，又加強徐州保護漕運的能力，因此將淮南北的徐、泗、濠三州交給當時忠於朝廷的張建封。何況當時淮西節度使李希烈驕橫跋扈，並與淮南節度使相勾結，這一防備措施是完全正確的。李吉甫的批評是因為後來張建封之子傾向割據，並且以徐州為根據地幾乎吞併江淮一事而引起的。但這是此一時彼一時的事情，有一利也必有一弊，不可以後事之非來否定前事之是。
但是畢竟唐代後期犬牙相入的方鎮為數也並不多，另一顯著之例是昭義軍節度使轄有太行山東西之地。多數方鎮還是與山川形勢大體一致的。因此從秦到唐，犬牙相入的原則還一直處於從屬的地位。當然也有所發展，秦代的出入只在個別的縣，唐後期已擴大到州。宋代以後，犬牙相入原則使用得更為普遍。
宋代跨越重要山川的州府比唐代要多。如河南府領黃河以北的河清縣，黃河以北的孟州又領有黃河以南的河陰、汜水兩縣，使孟州的領域形成奇怪的扭曲狀。又如泗州跨淮水南北之例，也為唐代所無。
宋代的路也比唐代的道更偏離山川形便的原則。唐後期武寧軍節度使(即徐泗濠節度之後身)雖轄有淮南北之地，但其所領四州，僅有一州在淮南。北宋淮南東路雖以淮南為名，卻有半路在淮水之北。而且該路與其北面的京東東路邊界還形成犬牙相入的曲折狀。兩漢的豫章郡與唐後期的江南西道和今天江西省幾乎相等，是一個比較完整的地理單元，在宋代則把它一分為二，東北部歸江南東路，其餘部分與今湖北東南角組成江南西路。又北宋的河東路缺西南一角，卻又在西北方面越過黃河，有河西之地。永興軍路以今陝西為主體，但卻有河東一隅與豫西一角之地，而且更重要的是該路已越過秦嶺，領有商州。雖然商州很小，而且不全在秦嶺以南，但這是歷史上秦嶺南北首次被同一個政區所跨越。荊湖北路也很特別，其西南部分順著沅水流域上溯直至與廣南西路交界。
凡此種種都說明犬牙相入的原則正在起質的變化。在秦代，這一原則只不過使郡界與山川走向不完全一致，其出入不過一二縣，二三縣之地，到宋代其出入已達兩三州、三四州的程度。到金與南宋對峙時期，情況又有進一步發展，如金代的京東西路的部分領域形成一條狹窄的走廊伸入京東東路與河北東路之間。南宋路的分劃雖然沿襲北宋未有大變，但改變的想法已在醞釀之中。總之，宋金兩代出於加強中央集權的需要，已發展了犬牙相入的原則，但最根本的變化還是產生在蒙元帝國建立之後。