根據印支共中央的連續請求和羅貴波就此事的報告，中共中央於1950年3月下旬正式形成會議，組成中國軍事顧問團入越，協助越軍作戰。顧問團團長由原第3野戰軍第10兵團政委韋國清擔任。
選韋國清入越，頗經多方考慮。首先，他久經戰陣，長期以來是獨當一面的軍事指揮員。在紅軍中，他曾是一名工兵。在抗日戰爭中，他是征戰於江淮地區的「麻雀戰專家」。解放戰爭中，他成為縱隊（軍）和兵團的司令員，指揮了許多重大戰役。渡江戰役前夕，他擔任第10兵團政委，和司令員葉飛一起揮師解放了福建。入閩後，韋國清轉而接手地方工作。此種經歷使他既熟悉軍事也熟悉政治工作，足當重任。
還有一個重要原因是，韋國清是廣西壯族人，他的家鄉和越南相距不遠，越南也有壯族人，彼此的語言可以相通。去越南，這是韋國清得天獨厚的條件。另外，從個人性格來說，在第3野戰軍的高級將領中，韋國清以機智穩重著稱，擔任赴越軍事顧問團首長很合適。
韋國清恰好在北京，正等著中共中央軍委分配工作。
韋國清原名韋邦寬，1913年出身於廣西東蘭縣勞石鄉一個貧苦農民家庭。1928年夏天，15歲的韋國清參加了韋拔群領導的農民自衛軍，參加過攻打東蘭縣城的戰鬥。1929年他加入共青團，同年參加由鄧小平、李明瑞、張雲逸領導的百色起義，當過張雲逸的警衛員。此後他轉戰桂黔湘邊界地區，然後進入江西蘇區，於1931年轉為中共黨員，很快成為一名年輕的紅軍團長。
1934年10月，韋國清參加二萬五千里長征。他曾率部參加搶佔皎平渡、巧渡金沙江的關鍵性軍事行動。紅軍搶渡烏江時，當時任幹部團特科營營長的韋國清跟隨團長陳賡，率工兵連星夜疾行60華里，趕到邊界河渡口，神秘迅速地架起浮橋，使中央紅軍得以及時全部過河，攻佔遵義。到達陝北後，在紅軍的最後一戰直羅鎮戰役中，韋國清身負重傷，傷愈後進入紅軍學校學習。
抗日戰爭初期，韋國清擔任過八路軍總部隨營學校校長。1940年後任新四軍第3師第9旅政委、第4師第9旅旅長等職，轉戰於淮北。他於1942年12月指揮了朱家崗戰鬥，這次戰鬥對粉碎日本侵略軍發動的對淮北地區的大掃蕩具有決定性意義。1943年春，國民黨江蘇省主席兼魯蘇戰區副總司令韓德勤突然率部襲擊新四軍淮北根據地，韋國清率第9旅主力迅速包圍了韓德勤部，予以圍殲，生俘韓德勤，為新四軍堅持在淮北和蘇北的抗戰創造了有利條件。1944年9月新四軍第4師師長彭雪楓犧牲後，韋國清就任副師長。
中國赴越南軍事顧問團團長韋國清
抗日戰爭勝利後，韋國清曾任軍調處執行部徐州小組中共代表。1946年解放戰爭開始後，韋國清任山東野戰軍第2縱隊司令員兼政委，指揮部隊參加了朝陽集、宿北、魯南等戰役。1947年2月，他率領一個縱隊越過隴海鐵路，發起白塔埠戰役，殲滅了國民黨第42集團軍軍部和它的第2師、第4師，活捉其司令郝鵬舉。隨後，韋國清率部參加萊蕪戰役。在著名的孟良崮戰役中，他指揮兩個縱隊在青駝寺阻擊國民黨援軍，血戰三晝夜，擋住了援兵，保證了華野主力在孟良崮全殲國民黨最精銳的第74整編師。
1948年起，韋國清任蘇北兵團司令員，參加了淮海戰役。擔任第10兵團政委後，他同司令員葉飛率部渡過長江後參加上海戰役，爾後進軍福建，先後任福州市委書記、福建省省委組織部部長。新中國成立後百廢待興，韋國清被調到北京，準備讓他去聯合國任職。正好趕上要成立赴越軍事顧問團，幾乎是一夜之間，韋國清未來若干年的人生軌跡完全改變了。