離湘赴滬後不久，毛澤東又會同共產國際代表馬林等先期到達廣州，和陳獨秀、李大釗、張國燾、譚平山、蔡和森、陳潭秋、羅章龍等，為中共三大做準備工作。一九二三年六月十二日至二十日，中共三大在廣州東山恤孤院後街三十一號召開。毛澤東以湘區黨的代表身分出席。
會議的中心議題是討論國共兩黨的合作。還在去年八月，中共中央根據共產國際的意見，在杭州西湖召開特別會議，決定同國民黨實行合作。一九二三年二七慘案留下的血的教訓，使中國共產黨進一步認識到中國的民族民主革命只靠工人階級孤軍奮鬥是不夠的，應該爭取一切可能的同盟者。由於孫中山領導辛亥革命取得了成功，國民黨在社會上有威信，又在南方建立了根據地。孫中山在民國成立後幾經挫折，深感中國革命要改弦易轍，對共產黨員同他合作抱著積極歡迎的態度。西湖會議後，李大釗、陳獨秀等一批共產黨的重要領導人就陸續以個人名義加入了國民黨。
對這樣做，毛澤東是有思想準備的。四月離開長沙時，他在湖南自修大學主辦的《新時代》創刊號上發表了《外力、軍閥與革命》一文，提出：中國的反動勢力太大了，外力和軍閥勾結為惡，共產黨和一些「非革命的民主派」都將同「革命的民主派」國民黨合作，以「成功一個大的民主派」。到廣州後，他在《嚮導》上發表的文章中提出對中國革命的基本看法：國民革命的歷史使命是「打倒軍閥並打倒和軍閥狼狽為奸的外國帝國主義」，只有「建立嚴密的聯合陣線，這個革命才可以成功」。從五四時期宣導民眾大聯合，到這時主張建立聯合陣線，他的思路是連貫的。
在三大上，對國共要不要合作並沒有什麼異議。但圍繞合作的具體組織形式，卻發生了爭論。張國燾認為，工人階級只能在自己政黨的旗幟下進行革命，不同意全體共產黨員特別是產業工人加入國民黨，去搞黨內合作，否則會取消共產黨的獨立性，也不同意在勞動群眾中發展國民黨組織。張國燾的觀點成為會議爭論的焦點。多數人不同意他的觀點。毛澤東在發言中根據湖南工人運動的經驗，說明搞聯合陣線的必要性，認為大批工農加入國民黨，正可以改造它的階級成分，和資產階級建立聯合陣線，共同完成民族民主革命的需要。經過討論，會議通過了「黨內合作」的主張，決定全體共產黨員以個人名義加入國民黨，但仍保持共產黨組織的獨立性。
大會選出九名正式委員、五名候補委員組成新的中央執行委員會。陳獨秀、毛澤東、羅章龍、蔡和森、譚平山為中央局（相當於後來的政治局）成員。五個人中有三個人原來是新民學會成員。陳獨秀為中央局委員長，毛澤東為中央局秘書。根據規定，「秘書負本黨內外文書及通信及開會之責任，並管理本黨文件。本黨一切函件須由委員長及秘書簽字」。
毛澤東第一次進入中國共產黨的領導核心，這時他三十歲，剛好是「而立」之年。
三大後，中央機關暫留廣州。這時起，毛澤東開始接觸國民黨的一些上層人物。他曾和李大釗、陳獨秀到廖仲愷家商談國共合作的具體事宜，還常去培正路簡園譚延闓住處。譚被趙恆惕迫出湖南後，這時擔任孫中山大元帥府的建設部長，正在為討伐趙恆惕做準備。毛澤東通過他加強對國民黨內部情況的了解和聯繫，也為中共湘區委採取聯譚倒趙的政策創造條件。這時，國民黨本部剛好要派國民黨元老覃振回湖南，毛澤東便托他帶信給李維漢，要湘區委協助覃在湖南籌備國民黨組織。當時，在湖南的國民黨員只有邱維震一個人。
此後，毛澤東一直掛念這件事情。九月，中央機關遷回上海辦公，便委派他回湖南貫徹三大決議，指導湘區委籌備國民黨湖南地方組織。為了便於開展工作，在國民黨中央擔任總務部副部長的共產黨員林伯渠，還給了他一個中央黨部籌備員的名義。
此前，湘區委接受他的建議，派何叔衡、夏曦、劉少奇和覃振、邱維震成立了籌備組。由於譚延闓率軍討趙，湖南戰事甚緊，工作沒有完全展開。九月，譚敗退廣東，局勢稍稍穩定下來。十六日，毛澤東回到湖南，隨即同夏曦商定了籌建和發展湖南國民黨組織的具體步驟：第一步組織長沙支部，第二步在常德、衡陽等地建分支部，在這個基礎上再成立湖南總支部。二十八日，他寫信給在廣州的林伯渠等，彙報了這個計畫，說當天便「租定房子成立籌備機關（秘密的），多邀信仰三民主義及有活動能力的人入黨」，並建議委任夏曦為籌備主任。在毛澤東的指導下，十月初國民黨長沙支部成立，隨後甯鄉、安源等地分部和湖南總支部也相繼成立，使湖南在大革命時期成為國民黨組織最發達的省份之一。
這次回湘，毛澤東和楊開慧仍住長沙小吳門外的清水塘二十二號。開慧上有老母，下有孩子，負擔很重，生活清苦。毛澤東回來後她格外高興。他們的第二個孩子毛岸青也於十一月降生了。可是剛住了三個月，毛澤東就接到中共中央的通知，要他離湘赴上海。臨行前，毛澤東強抑感情，作《賀新郎》相慰：
揮手從茲去。更那堪淒然相向，苦情重訴。眼角眉梢都似恨，熱淚欲零還住。知誤會前番書語。過眼滔滔雲共霧，算人間知己吾與汝。人有病，天知否？
今朝霜重東門路，照橫塘半天殘月，淒清如許。汽笛一聲腸已斷，從此天涯孤旅。憑割斷愁絲恨縷。要似昆侖崩絕壁，又恰像颱風掃寰宇，重比翼，和雲翥。
毛澤東到上海，是為了參加即將在廣州召開的國民黨第一次全國代表大會。中央的通知說：「吾黨在此次國民黨大會代表中，希望每省至少當選一人——此同志必須政治頭腦明晰且有口才者，方能在大會中糾正國民黨舊的錯誤觀念。」「俟各省代表過滬時，我們的同志再集合議決一致的主張。」
一九二四年一月二十日，是個很重要的日子。在孫中山主持下，國共兩黨的精英，同處於廣東高等師範學院那座有著高高塔樓的禮堂內，召開國民黨第一次全國代表大會。毛澤東以湖南地方組織代表的身分出席。他的座位是三十九號，會議期間被指定為章程審查委員之一。他多次發言，除就組織國民政府、出版及宣傳、設立研究會等問題發表意見外，還針對國民黨內的右派觀點申明自己的主張。
一月二十八日，討論國民黨章程時，廣州代表方瑞麟提出不能黨中有黨，要求寫上國民黨員不能加入其他政黨的條文。這個提案顯然是針對共產黨員跨黨、反對孫中山容共政策的。李大釗率先駁斥方的謬論，誠懇地解釋了共產黨的做法。廖仲愷等人起而支持。在大會氣氛有利於國共合作的情況下，毛澤東趁機發言：「主席！主席！三十九號發言，本席主張停止討論，即付表決。」結果方瑞麟的提案被輕易否決了。
二十九日，大會在是否通過「請採比例選舉制為大會政綱之一」的議案時，發生了激烈爭論。所謂比例選舉制，是西方國家選舉制度之一。它根據各政黨在全國所得選票在選票總數中的比例，來分配其議員席位的名額。提案人黃季陸發言說：「比例選舉制，可以打破現在選舉的流弊，因為現在選舉制總是以多數壓服少數，而比例選舉制則各能如其勢力以發展，毫無衝突之處」。他的意圖是保護當時在國民黨內佔少數的右派的地位，很得到一些人的支援。毛澤東發言反駁說：「現時比例選舉制系少數黨所運動出來的結果。本黨為革命黨，凡利於革命的可採用，有害於革命的即應擯棄。比例制有害於革命黨，因少數人當選即有力量可以破壞革命事業，是予少數派以機會也。本席根本反對本案，以為不能討論，不能表決。」多數代表同意毛澤東的意見，大會沒有通過這個提案。
毛澤東在會上的表現，受到孫中山和一些國民黨人士的賞識和注意。三十日上午，選舉中央執行委員和候補委員時，孫中山親自擬了一個候選人名單，交付大會表決，其中就有毛澤東。他被選為中央候補執行委員。
大會結束後，毛澤東被派往上海參加國民黨上海執行部的工作。他於二月中旬到上海，同蔡和森、向警予、羅章龍等住在閘北香山路三曾里中共中央機關內。六月初，楊開慧和母親帶著毛岸英、毛岸青從長沙到上海，一家便住在英租界慕爾鳴路甲秀里（今威海衛路五八三弄）。
上海執行部是國民黨在廣東根據地以外最重要的機構，統轄江蘇、浙江、安徽、江西、上海等地工作，在上海法租界環龍路四十四號辦公。國民黨元老胡漢民、汪精衛、于右任、葉楚傖等分任各部部長，毛澤東任組織部秘書兼代秘書處文書科主任。沈澤民、瞿秋白、鄧中夏、惲代英、向警子、羅章龍、邵力子、張秋人、王荷波等共產黨員，也都擔負執行部各部門的實際工作。社會上一時稱環龍四十四號為「國共群英會」。
中共中央領導機構那時也設在上海。國共合作一段時間後，需要總結經驗。中共中央執行委員會在上海召開擴大會議，通過了《共產黨在國民黨內的工作問題》等決議案，強調「國民黨的左派是孫中山及其一派和我們的同志——我們同志其實是這派的基本隊」。「