攻破南皮，趕走了袁紹，這讓呂布的心情大好，誰讓他覺得這袁紹才是自己在北地最大的敵人，在聽到抓到了袁紹的家人，包括他那袁譚，袁熙，袁尚三個兒子後，不由來了幾分興趣。
袁譚，袁熙年紀到也不小了，已經十二三歲，那袁尚還只有七八歲的樣子，生的確實俊美乖巧，怪不得後來那袁紹會為子嗣的問題難以下達決心，以至於身死後三子爭寵奪位，讓曹孟德撿了個大便宜。
「可知你們的父親袁紹已經被本將擊敗，如今卻也不知去了何方，猜猜本將會如何處置你們？」
呂布如此說，本來只是想嚇嚇他們三個，見識見識這三子的能耐。那袁譚，袁熙言語之間吞吞吐吐，可見心中緊張，倒是那袁尚雖是童聲卻是應答如流，絲毫不懼。看來袁紹喜愛袁尚，的確有幾份道理。
又是說了幾句，見難不倒那袁尚，便也不多說，呂布可不想再去嚇唬小孩，以免遭人話柄，故而令人帶下袁譚三兄弟，但呂布對他們的處置還是很為在意。
殺？當然可以一了百了。可是袁紹名聲在外，且不說會招來袁氏的故吏的忌恨，殺人幼子，這個惡名對呂布以後的招賢大計恐怕會多有阻礙，畢竟如此一個醜惡的名聲，呂布再是不在意也是不行，自己總不可能一個人總管著那麼大的地方，這顯然是不現實的。
不殺？三子可以算得上是呂布以後對付袁紹的一張黃牌，可是放著這麼大的一個不安因素在自己的領地，就怕袁氏的勢力死灰復燃。
不過田豐等人的意見還是傾向於放了袁紹的家人，他們覺得壓制著三個幼子在境內也是無用，質子這個說法可在戰國後期句失去了效應。按田豐的話說，呂布能夠在袁紹大勢的時候擊敗他，如今現在袁紹不過是喪家之犬，又有何懼？！放掉沒有用的人質，還能為呂布博個好名聲，這是最好不過的，而且最不濟還能省下糧食呢。
眾人聞言，皆是笑然，想不到平日里挺為嚴肅的軍師還是有幾分幽默。
其後又有人馬前來回報，卻是那看守淳于瓊中得幾人。呂布不用相問就知道該是那淳于瓊逃走了，不過心中卻是坦然的很。
果不其然，那幾人說是那淳于瓊脫困而去，在渤海收攏了兩萬餘人，之後尋得袁紹前往北海投奔北海太守孔融去了，還請呂布知罪。
呂布暗嘆一口氣，想這淳于瓊雖然與自己也算是好友，可惜他先於袁紹相交，一日為臣終身相隨，要怪只能怪自己當日沒有足夠的實力讓他的家族做出賭注，如今跟隨在那袁紹身邊只怕再難起色，想起當日勇斗餓虎力竭之後，還是淳于瓊背負回城，那一份情義，呂布記得牢牢的，於是當著眾人的面苦笑道：「天不絕袁紹，我亦不能絕，便任由他們去吧。」
田豐笑道：「主公，這怕是主公故意而為之的吧。」
呂布亦笑道：「還是瞞不過軍師啊。」
文丑等人不解，若是拿下袁紹及其一部豈不是更好，為何現在放他們去了北海反而是好事。
田豐便解釋道：「袁紹此人卻是殺不得，因為他不但是四世三公之後，而且還是當初的十八諸侯的盟主，主公能與其戰卻不能殺，若殺之，則失了士林人心，但不殺便只能放，與其抓住養在幽州暗中行事，還不如將其趕往他處省心，不知某說的是否就是主公心中所想。」
「差不多了」，呂布笑道：「軍師之言倒是不錯，不過還有一個原因，便是如此我軍的實力不足以涉及中原一帶，放其到那，固然袁紹可以憑藉他的威望在短時間內東山再起，但肯定比不得以往，而且在那所要遇到的阻力也是更大，且不說孔融，就算是那陶謙，曹操二人豈能讓袁本初這隻大蟲再起風波，想必定要約束他而互相明爭暗鬥，那麼在這段時候內，我們便可以好好的消化一下這次戰果，畢竟我們日後的對手可是天下最強大的冀州。」
眾人聞言皆是拜服，就連田豐也是贊道：「主公想的深遠啊。」
正在呂布與眾將相商的時候，有傳報道韓馥手下第一大將，平原的高覽率領五萬兵指南皮，欲得漁翁之力。
一接到這個消息，讓呂布的大好心情頓時消去不少。
「可惡的韓馥，居然真的有膽來，我勢必讓他後悔這次敢趁機打便宜。」呂布狠狠的說道。
謀士審配等人急忙勸阻道：「主公，城中剛剛安定下來，將士疲憊，此時再作戰鬥，恐怕不是好的時機，對我軍不利啊。」
呂佈道：「正南，現在城中有多少人馬？」
審配道：「主公，加上袁紹舊部，現在城中大概有二十萬人馬。」
呂布譏笑道：「既然我軍有二十萬人，還怕他區區五萬嗎？」
審配再道：「我軍人馬雖然眾多，可是新戰之後還是不宜再戰，以免將士抱怨，而且至少有一半的人馬是袁氏舊部，難免隱沒著包藏禍心之人，若是到時候臨陣反戈，只怕主公縱然再有一倍的兵力，也是不能阻止這等反撲。況且正如主公所言，這韓馥坐擁冀州，兵數十萬，恐此高覽人馬只是先遣部隊，後來兵馬不知多少，望主公三思啊。」
聽了審配的話後，呂布冷靜了不少，想不到自己心急之下居然會犯下如此大的一個錯誤，那些人中多數現在還是因為迫於自己的威勢，其實他們的心中還是想著袁紹，想著他的「四世三公」，而自己可能在他們的眼中不過就是一個武夫，而且還是一個卑賤的武夫。想到此處，呂布儘管還是漸漸安撫下來，可是心中還是有些不甘，誠如像他這般人物，就算是在實力不強的時候也不曾避讓過，此時新敗袁紹，兵勢大盛之時卻要如此，自然會有些情緒。
不過在這時田豐卻是笑道：「主公，這高覽倒是來得及時啊，我等把袁譚三兄弟送於韓馥，不但可退冀州軍，還能解決他三人。」
眾人還跟不上田豐的思路，皆想知道後話。田豐也不再藏著，直接道：「韓馥是袁氏故吏，同時又是冀州的最高指揮，可以說韓馥對袁紹是最為忌憚。此次，韓馥派高覽來襲，看似是主公擊敗了袁紹，對韓馥來說主公這個對手更加強大，其實對其來說，反而是有利的。因為袁紹『四世三公』的名聲，對名士的影響力是不可估量的。現在我們把袁譚三兄弟交給韓馥，算是給他一個機會去徹底擺脫袁紹給他帶來的陰影，再派一說客，陳說厲害，相信以韓馥的性格是不會大動干戈的。而且主公還可行一事，就說是為了他韓馥才去攻打袁紹，如果他韓馥再敢進兵，我等就讓出一部分地盤，坐實這個事實，讓其百口莫辯。」
審配也笑道：「軍師之言大妙啊，主公不似韓馥，憑藉的大多是軍中精銳的戰力，而他韓馥靠的是當地的名紳故吏，若是讓他們知曉此次對付袁紹乃是他韓馥所遣，只怕要花上不少口舌才能解釋清楚。」
聽完田豐與審配的話後，大家都覺得大有道理。
謀士逢紀問道：「軍師，若是韓馥那邊也有能人不願放過這個機會，執意讓韓馥繼續行動的話，我們又該怎麼樣？」
呂布與其他人再次看向了田豐。
田豐還是沉穩道：「遣出精騎，一路騷擾高覽部，以延緩其行軍速度，而我們則是加固南皮城防，同時可以派人去鄴城廣播流言，以策萬全，或者是先遣送這些袁氏舊部回北平，反正即便要戰也不能在南皮城戰。」
呂布喜道：「就依軍師言，不知可派何人前去與韓馥交涉？」
田豐視之，笑道：「郭公則可任此責。」
郭圖沒有想到自己新降之人，居然可以得到田豐的推薦，忙喜道：「主公，郭圖願往。」
呂布也很是開心，笑道：「恩，有公則前去，某自放心。公則此行要帶些什麼，盡可安排。」
郭圖道：「有口一張即可。」為了能夠讓呂布重視自己，郭圖也是「囂張」一下。隨後，郭圖就在呂布的允許下去安排出訪事宜，並派百人相隨，用以保護他的性命。
而南皮城則開始修防工作，以防萬一，並且派了遼西太守公孫越，以及大將文丑，侯成等人重兵把守前線，又令張燕的人馬從後襲擾糧道，令其分心。
這樣一來，高覽見呂布軍防守嚴密，一時也不敢輕舉妄動，只得原地駐守，以待後援。
趁著這段時間，郭圖果然不負呂布重望，說服韓馥，令其下令高覽退兵平原。
得此機會，呂布不但加強對南皮各地的控制，還收集了不少的人才。而像顏良這樣起先不願意投靠呂布的頑固派，也在眾人的勸說下，終於是投向了呂布。屆時，呂布手下已經聚集了一大批人才，除去原先在洛陽就開始跟隨自己的嚴綱，顧衛等人外，呂布手下的文臣主要有：田豐，逢紀，審配，郭圖，關靖，田予，陳琳，外加一個戲志才；武將更是多的可以：文丑，顏良，高順，典韋武藝超群，蔣義渠，眭元進，張燕，王斗等人都是善戰之輩，控制北平，遼西，南皮三地，坐擁十數萬人馬，可以說現在呂布的實力已經是一個質的提升。
而在呂布大力增長實力的時候，中原各地的諸侯也是不遺餘力的