上海出現的第一家外資銀行是麗如銀行（Oriental Banking Corporation，又稱東方銀行、東亞銀行），開設於1847年，它進入中國後就開始發行鈔票，流通於上海、江浙一帶。隨後，外國銀行相繼進入，上海漸漸成為遠東最重要的金融重鎮。到1890年前後，沿外灘一帶，已經集中了眾多外國銀行，黃浦灘12號為英資滙豐銀行，14號為德資德華銀行，15號為華俄道勝銀行，18號為英資麥加利（又稱渣打）銀行，31號為日資橫濱正金銀行，其他還有英資有利銀行、法資東方匯理銀行等等。它們在相當長的時間裡控制了中國金融的命脈。
在這些外資銀行中，以滙豐銀行最為顯赫。1865年，滙豐成立於香港，在英資銀行中，它的規模並不大，然而，它從一開始就只關心在中國的利益，所有活動都是圍繞著中國開展的，所以成了最重要的在華外資金融機構，時人稱，「蓋吾國關稅之收入，必解至滙豐，故滙豐操縱金融之勢力尤偉。」它長期控制中國對外匯率，一直到1935年，滙豐每日的外匯牌價仍被視為上海市場的正式牌價。在滙豐的壯大過程中，東山席家的功勞最為突出，從1874年起，席氏祖孫三人——席正甫、席立功、席鹿笙——世襲滙豐大買辦的位置前後長達55年，這是一項十分驚人的記錄。
席正甫只在老家東山鄉下讀過幾年私塾，他之崛起全因頭腦機靈，善於經略中洋和官商關係。便是在促成李鴻章的200萬元鹽稅擔保借款的當年，他就被提升為大買辦，從此，滙豐等外資銀行代替已顯頹勢的山西票商成為了朝廷的金融合作夥伴。席正甫跟上海道台袁樹勛是換過貼的結拜兄弟，這讓滙豐在上海官場有了特別的優勢。當時，朝廷最炙手可熱的兩個漢臣是李鴻章和左宗棠，兩人關係一向惡劣，席正甫卻跟他們、以及他們的「錢袋子」盛宣懷和胡雪岩都保持了很不錯的交往。在李鴻章的保舉下，他還被授予二品銜紅頂花翎。正是在席正甫的居中斡旋下，滙豐銀行先後經理了滬寧、廣九、滬杭甬、津浦、京奉、湖廣、浦信等主要鐵路幹線的貸款，其獲利之厚非常驚人。
席正甫為人極其低調，很少參加社會公共活動，即便是東山同鄉的聯誼也極少參與，馬學強在《江南席家》一書中稱，他查閱了當年東山同鄉會的活動記錄，很少看到有關席正甫的記載，僅在光緒九年（1883年）重建靜安寺的時候有過一次捐款。這個隱身在幕後的人，數十年中默默編織了一張龐大的家族網路，在上海的外資銀行界逐一滲透，形成了一股可怕的席家勢力。
除了子孫繁茂之外，席家還與當時上海的一些望族結成了「姻婭聯盟」，如席家與另外一個買辦世家沈家的關係就盤根錯節，不但男女婚姻頻繁，甚至席正甫的一個同父異母弟弟席素恆還過繼給沈家，改名沈吉成。沈氏三代在沙遜洋行擔任大買辦長達35年。在十九世紀末期，沙遜與滙豐、太古和英美煙草號稱英資在中國的四大壟斷集團，席家與沈家的結姻讓滙豐與沙遜在業務上互通有無，更加的強勢霸道。
進入民國時期，席家與黨國顯要的關係也是十分複雜親密。席正甫的孫子席德柄是宋子文的美國大學同學，還有一個孫子席德懋則把女兒嫁給了宋的弟弟宋子良。這使得滙豐在清廷滅亡之後，仍然能夠與民國政府保持密切的關係。席氏子弟曾當過中國銀行的官股董事、總經理、國際貨幣基金會中國代表，還出任中央造紙廠的廠長。
因為幾輩人在銀行界行走，使得席家子弟在金融專業上的能力獨步天下。很多年後，席家後人席與棠回憶小時候看到父輩工作時的景象：「他的辦公室特別大，裡面有一張很大的辦公桌，我從來沒有見過那麼大的桌子。桌上有20幾部電話，還有電傳，這是我第一次見到電傳。電話不停地打進來，他兩隻手拿著兩三個電話，一會兒對著這個說中文，一會兒對著那個說英文。他還有5個助手，他們的英文也是非常過硬的……當時國際主要貨幣不是美元，是英鎊，英國和上海的時差是6個小時，所以，他們炒賣外匯還不用熬夜。」
席與棠還回憶了一段席家子弟與宋子文的一段軼事：一次，中國銀行行長、「國舅」宋子文到中行上海分行副行長、匯兌經理席頌平的辦公室，聽到席在拋出英鎊，他就大聲疾呼：「給我買進，買進。」因為他來是為了某項進口貿易需要英鎊支付，數額較大。席當即掛斷電話，問清了要多少英鎊，哪一天要，答應及時籌措，絕不耽誤，接著，他拿起電話，繼續自顧自地外拋英鎊。宋子文走出席頌平的辦公室，轉身去查了逐年逐月的外匯進出帳，發現幾乎每月都是賺的。此後，宋子文對中國銀行的外匯職工說，「你們就聽席頌平的，誰也不要插嘴，包括行長、副行長。」
1949年之後，席家子弟大多隨外資銀行退出了大陸，他們投資的地產和實業股份也全數消失。2000年之後，有一種「席家本幫菜」流行於滬上，它的菜肴典雅而偏甜，口味介於中西之間。喜歡它的時尚人士不少，卻已很少有人知道它的前生來歷了。