前面說到，公元前544年，吳國公子季札奉命出訪中原各國。在魯國逗留期間，季札與叔孫豹有過一次交談，季札當面提醒說，叔孫豹心地善良，卻不善於識人，恐怕因為用人不當而遭受禍害。
季札所言並非危言聳聽，而是有所指。事情還得從公元前577年的魯成公年代說起。
那一年，叔孫氏的族長叔孫僑如因為與魯成公的母親穆姜私通，企圖利用穆姜的力量消滅季孫氏和孟孫氏，獨攬魯國大權，結果事情敗露，叔孫僑如全家逃亡到齊國。後來，魯成公又派人將叔孫僑如的弟弟叔孫豹從齊國接回來，繼承了叔孫氏的家業。
魯成公對叔孫氏網開一面，一方面是體現自己的仁德，另一方面是為了保持「三桓」之間的勢力均衡。而之所以選擇叔孫豹，則是因為他為人誠懇，忠於職守，在魯國享有良好的口碑。
然而，在這位至誠君子流亡齊國的途中，卻發生了一件風流事兒。
《左傳》記載，叔孫豹在逃亡途中和叔孫僑如的大部隊走散，隻身來到齊魯邊境的庚宗（地名），又累又餓，又怕被人發現，只好躲在田野里盼望奇蹟出現。
庚宗當地的一個農婦，扛著鋤頭正好經過，看到叔孫豹奄奄一息地躺在一條小河溝邊，不由得心生憐憫，便將自己隨身帶的食物給了他。叔孫豹吃飽了，喝足了，捧著小河溝里的水把臉洗乾淨，那貴族公子的氣質便又重新回到身上。那農婦一輩子與泥土打交道，左鄰右里不過是些山野村夫，哪裡見過這麼風流瀟洒的男人啊？把持不住，主動投懷送抱，獻身於叔孫豹。俗話說得好，男追女，隔千山；女追男，隔張紙。農婦雖然長得不怎麼樣，但是自有一番野趣，再加上叔孫豹逃亡多日，生理需求膨脹，兩人一拍即合，當下便把事兒給辦了。
當然，後世有好事者以為，魯國禮儀之邦，女人如此隨便，實在難以想像。於是有一本偽《孔子家語》轉載此事，將《左傳》中的「婦人」偷偷改成了「寡婦」。這樣便說得過去了，寡婦嘛，閑著也是閑著，不幹白不幹，不算傷風敗俗。
事情辦完後，農婦很滿足。她躺在叔孫豹懷中，不甚嬌羞地說：「我還不知道你的名字呢！」
「豹。」
「好威風的名字啊！」農婦說，「你從哪兒來，要往哪裡去呢？」
「這……」叔孫豹猶豫了一下。
「如果不嫌棄的話，就留在這裡嘛！」農婦的眼中流露出一絲熱切的神色。
叔孫豹環視四周。這是深夏時節的黃昏，田原一片寧靜，遠處寥寥幾棟農舍，炊煙正在裊裊升起。「我又何嘗不想留在這裡，只不過我如果留下來，會給你們帶來很大的麻煩。」叔孫豹長嘆道。
「為什麼？」
「因為……我是叔孫氏的後人。」
農婦臉上露出驚訝的神色。不用叔孫豹多說，她全明白了。前幾日，村長才將全村人召集到一起，宣讀了公室的命令——叔孫氏裡通外國，陰謀叛逆，據悉正舉族逃往齊國，如有發現其行蹤者，必須立即向當地政府報告，協助捉拿歸案。
「你快走吧，這裡確實不安全。」農婦一把推開叔孫豹，眼淚卻止不住流下來，她指著小河溝流去的方向，「順著這條河一直走下去，翻過前面那座山，再走不遠就是邊境了。你趕快走，如果被別人發現，一定會把你抓起來見官。」
叔孫豹朝農婦作了一揖，鄭重地說：「感謝你。」然後站起來，拍拍身上的泥土，頭也不回地向著農婦所指的方向走去。
看著他漸漸遠去的背影，農婦終於忍不住，「哇」的一聲號啕大哭起來。
叔孫豹到了齊國，齊靈公見他獨自一人，便將國氏的女兒許配給他，生了孟丙和仲壬兩個兒子。但是，叔孫豹在齊國的日子過得似乎不太快樂，至少不如他的哥哥叔孫僑如快樂——僑如一到齊國，便和齊靈公的母親聲孟子搞到了一起，聲孟子甚至想立僑如為卿，與國、高二氏平起平坐。
家族的變故使得叔孫豹憂心忡忡，僑如的荒唐行為更讓他抬不起頭來。有一天夜裡，他竟然夢到天塌下來壓在自己身上，眼看要頂不住了，回頭看見一人，長相十分奇特。黑皮膚，肩膀向前彎曲，眼睛深陷，豬嘴巴。他顧不上許多，大叫道：「牛，快來幫我！」那人聽了，快步上前，用肩膀扛住天，奮力向上一頂，將天又頂回去了！
第二天一早醒來，他將上至家老、下至廚子的所有家臣都召集起來，一個一個辨認，卻沒有發現誰和夢中那「牛」長得相像。他只好叫來畫師，按照自己的描述，將「牛」的長相畫到布上，保存起來。
後來魯成公派人到齊國召叔孫豹回國。
對於叔孫豹來說，這也是意料之中的事。早在來齊國之初，兄弟二人有過一次談話，叔孫僑如說：「魯侯顧念我們先人的功德，想必會保存叔孫氏的香火。但是我罪大惡極，肯定是回不去了。如果有那麼一天，他們派人來召你回去，你可願意挑起家族的重擔？」
「這正是我所希望的事。」叔孫豹回答。對於給家族帶來災難的僑如，他沒有絲毫好感，但仍然按照兄弟之禮給予尊重。等到魯成公宣召其回國的時候，他甚至沒有向僑如辭行，急急忙忙便跑回魯國去了。
此後又過了數年。某一天，叔孫豹的府上來了一位奇怪的不速之客。從她的打扮來看，是所謂的「野人」階層，手裡拿著一隻野雞，說是要獻給叔孫豹。
一個女人，既非貴族，又非國人，竟然膽敢要求面見叔孫氏！守衛大門的衛兵自然不讓她進去。正在爭執之際，一個家臣匆匆跑出來，斥退衛兵，將那女人迎進了府。
不用說，這個女人就是叔孫豹在庚宗田野里遇到的農婦。兩人久別重逢，時過境遷，說過什麼知心話，做過什麼快樂事，史料已無記載。《左傳》只是乾巴巴地寫道：
叔孫豹問她兒子的情況，她說：「我的兒子已經長大，能夠捧著野雞跟著我到曲阜來了。」
叔孫豹何以得知那一次風流便結下了果實？原來，周禮有明確規定，「士」階層面見貴人或參加重要的政治活動，手執野雞為禮（士執雉）。叔孫豹是個明白人，一看那女人送來野雞，又提到兒子，就知道是怎麼回事了。
那個年代，卿大夫有個野合而來的私生子，不是什麼丟人的事，何況庚宗田野那一幕，給叔孫豹留下了十分溫暖的回憶。他馬上對女人說：「把你的兒子叫來吧，我想見見他！」
第二天，那女人果然帶著兒子又來到叔孫豹府上。叔孫豹一見那孩子，不由得大吃一驚，馬上命人將那幅「牛」的畫布拿來，對比著一看，可不就是同一個人！他又驚又喜，感嘆這真是命運的安排，親切地叫道：「牛，你就是牛啊！」
那孩子不過七八歲，一點也不怯場，聽到叔孫豹這麼叫他，馬上跪下道：「唯。」然後再站起來。
「唯」就是「是」的意思。古人不說「是」，一般說「諾」。然而兒子回答父親，要比「諾」更為恭敬，所以用「唯」，即所謂「父召無諾，唯而起」。那孩子的回答讓叔孫豹更高興了，他將家臣們都叫過來，說：「你們看，這就是當年在夢中救過我的牛啊！」當場任命他當了叔孫氏的「豎」。
豎是當時卿大夫家中的小臣，由未成年的貴族男子充任。從此，這個孩子便被大家稱為「豎牛」了。叔孫豹對豎牛寵愛有加，每天都帶在身邊。豎牛長大之後，又被委以管理家政的重任。
相比之下，叔孫豹的正妻國氏所生的兩個嫡子，孟丙和仲壬反而被疏遠了。
叔孫豹在齊國的時候，與齊國大夫公孫明相交相知，親如兄弟。叔孫豹回國之後，沒有及時將國氏迎接回國。公孫明自然擔負起照顧朋友妻的責任，一來二去，便照顧到床上去了，後來乾脆明火執仗，將國氏娶回家。因為這件事，叔孫豹遷怒於兩個嫡子，直到孟丙長大成人之後才派人將他們接回魯國。
疏遠歸疏遠，孟丙是叔孫家的嫡長子，卻是不爭的事實。這就又造成了「不正名」的矛盾。封建社會子以母貴，豎牛有寵，然而其母身份卑賤，就算叔孫豹有意立他為繼承人，也絕不可能得到社會的承認；孟丙失寵，然而其母為國氏之女，身份高貴，順理成章應當繼承叔孫家業。事實上，叔孫豹也沒有任何要讓豎牛取孟丙而代之的念頭。公元前538年夏天，他還命人專門為孟丙鑄造一口巨鍾（孟鍾），說：「你還沒有正式進入社交圈，我想借這鐘的落成典禮宴請各位大夫，讓你正式以叔孫家嫡長子的身份應酬賓客。」
叔孫豹沒有留意到，豎牛聽到這句話的時候，眼睛裡閃現出一絲陰鷙的光芒。
季札說的「用人不善」，就是指叔孫豹委任豎牛管理家政一事。按照常理，這個重任應當交給嫡長子才是。
公元前538年冬天，叔孫豹隨同魯昭公到丘蕕狩獵，染上風寒，從此卧床不起。
叔孫豹卧床期間，豎牛便是家中的一把手了。這個庚宗農村出生的孩子，自幼機敏過人，又長期掌握家