吳建民於1939年3月底出生於重慶，在他出生一個月後，日本陸海軍聯合對重慶進行了慘絕人寰的轟炸，造成震驚中外的「重慶大轟炸」慘案。為了保住性命，母親抱著被驚嚇的兒子冒著隆隆的炮火躲進了防空洞，總算撿了兩條命。
吳建民在重慶長到7歲時，隨父母回到祖籍江蘇南京，進入了南京市南昌路小學讀書。1951年小學畢業後，他進入了南京二中讀書。1955年，北京外國語學院來到南京招生，班主任老師朱慶頤希望吳建民報考北京外國語學院。因當時「北外」是按部隊院校的要求招生，要求很高，而吳建民一心想報考理工科大學，所以他當時對讀「北外」猶豫不決。在老師朱慶頤的再三勸說下，吳建民參加了「北外」的考試，不想獲得通過。
北京外國語學院的前身是在抗大三分校俄文大隊基礎上創辦的延安外國語學校。它是中國共產黨為了適應抗日戰爭形勢發展的需要而成立的，新中國成立以來，它一直是我國培養外語人才，特別是培養外事翻譯的主要基地，當時屬外交部管。
1961年9月，吳建民從北京外國語大學法語系獲得碩士學位後，被分配到團中央國際聯絡部，繼而被派到匈牙利接替朱善卿擔任中國常駐民主青聯代表的法語譯員。當時他才22歲，不但聰明好學，而且謙虛，肯吃苦，被後來到任的中國駐匈牙利大使韓克華一眼看中。
韓克華曾是中共出色的地下黨員，在抗日戰爭中任冀南軍區武裝部副部長等職、南下軍區政治部副主任，解放後，他歷任湖北孝感地委書記、湖北省委工業部長、副省長。1963年秋天，韓克華進入中央黨校研究班學習時得知要調其出國任大使的消息，頗為惶恐，他覺得自己既無外交經驗又不懂外文，很難勝任這樣的工作，便給中共湖北省委寫信謝絕。可當他從黨校學成回到武漢，馬上接到了赴外交部就職的調令，成為中國駐匈牙利的大使。
為了把年輕的吳建民調到自己的手下工作，韓克華專門給外交部打了報告希望部里與團中央協調。團中央國際聯絡部不知從哪裡探聽到這個消息，又以團中央第一書記胡耀邦的名義給外交部打報告，要求把吳建民留在團中央聯絡部工作。時任國務院副總理兼外交部長的陳毅早就聽說吳建民是個能幹的小夥子，暗暗拿了主意：韓克華和團中央兩邊都別想得到吳建民，我讓他回北京外交部。
吳建民在布達佩斯工作了4年，於1965讓陳毅的一紙調令調回國內，在外交部翻譯室馬牧鳴處長手下當翻譯，一干就是6年。這期間他有幸擔任毛澤東、周恩來、陳毅、李先念等黨和國家領導人的法語譯員。