相傳北方的大雁因懼怕塞外的凜冽的寒風，便成群結隊往南遷徙，它們飛越千山萬水，來到這塊氣候溫和，風景秀麗的地方，安營紮寨、停歇棲息，待到來年春暖花開，又結隊北歸。這個地方就是歷史的文化名城--雁城衡陽。「雁陣驚寒，聲斷衡陽之浦」，這是王勃的名句。「萬里衡陽雁，尋常到此回」，這是王安石的句子。「衡陽雁去無留意」，這是范仲淹的名句。大雁作為一道獨特的文化景觀，頻頻出現在有關衡陽的詩句中。城南的回雁峰，雖然高不足百米，但登上峰頂，整座城市盡收眼底。因其為南嶽七十二峰之首，天氣晴好的時候，北望南嶽主峰亦依稀可見，所以被稱為南嶽第一峰。關於回雁峰名稱的來由，一種說法是因位於南北氣候分界處而得名：傳說時屆涼秋，北雁南遷，至此停翅，待到來年春天再回去。古人礙於見識局限的說法，卻得到了歷代文人墨客的認同。還有一種說法是回雁峰拔地而起，勢如飛雁迴翔，因形狀之奇而得名。不知從何時起，衡陽被人們稱為「雁城」。
城西南有回雁峰，為南嶽七十二峰之一。衡陽八景之一「雁峰煙雨實堪誇」，回雁峰北麓的煙雨池，傳說每逢天將下雨，霧氣騰起，狀如雲煙。其實煙雨池不過是一個小小的水池，裡面稀稀疏疏的開著些睡蓮。池畔的山崖上刻著明代詩人陳宗契的句子：青天七十二芙蓉，回雁南來第一峰。其時，山下的夾竹桃開得正好。按明朝圖式復建的上達牌坊就在這一片花樹的後頭，上山登高須從此起步。綠色的琉璃瓦，拱形的山門，上刻麒麟吐須，獅子戲球，二龍戲珠，丹鳳朝陽。拱門上的「上達」二字，相傳是雁峰寺一燒火和尚用燒火棍所書。背後是民國初年衡陽書法家蔣鈐衡的筆跡「莫作等閑觀」，意在告訴人們莫要小看回雁峰，山不在高，有仙則名。峰上有雁峰寺為江南名寺，香火鼎盛。據史料記載，梁武帝天鑒十二年，宏宣法師建寺於此，梁武帝蕭衍親自賜名「乘雲禪寺」。隋代為雁峰寺，唐代改名為山門寺，明清重建壽佛殿、大雄寶殿、大悲閣，梵宇森然，人稱活佛道場。山上茂林修竹，清幽怡人。歷代文人墨客如杜甫、柳宗元、徐霞客慕名而來。清代大學者王夫之也出生在這裡，後來在此成就其思想體系。
衡陽市歷史悠久，根據出土文物考察，五六千年前，我們的祖先就使用石器等原始工具，在衡陽這片土地上種植水稻，飼養豬、牛，過著定居的生活。
衡陽地域古屬三苗、楊越，春秋時屬楚國。
公元前221年，秦始皇統一全國將原楚國南部分為黔中、長沙兩郡，長沙郡包括衡陽地域。
公元220年，孫吳於長沙郡東南設置湘東郡，郡治設在今酃縣；並於長沙郡西部設衡陽郡，郡治設在今湘鄉，下轄蒸陽（今衡陽縣）、重安（今衡南縣）、湘南、湘西（今衡山、衡東、南嶽區）、湘鄉、益陽等縣。這是歷史上第一次出現以衡陽命名的郡。
公元589年，隋滅陳，改郡為州，廢湘東、衡陽郡，設衡州，將臨蒸改為衡陽縣，州城、縣城均在今江東岸。這是歷史上第一次出現衡陽縣。
1942年元旦，衡陽市正式建市。
1943年衡陽市改為省轄市。
1949年衡陽全境解放之後，仍是市縣並存。
衡陽位於湖南省中南部，湘江中游。地處東經110o32′16-113o16′32，北緯26o07′0527o27′24。東鄰株洲、攸縣、安仁；南界永興、桂陽；西接冷水灘、祁陽、東安、邵陽、邵東；北靠雙峰、湘潭。南北長150公里、東西寬173公里。
衡陽市總面積15310平方公里。合153。10萬公頃，按地形分，山地佔總面積的21%，丘陵佔27%，崗地佔27%，平原佔21%，水面佔4%，總面積佔全省土地面積7。23%，在全省各市、州中，幅員位居第7位。
衡陽市處於湖南省凹形面的軸帶部分。周圍環繞著古老宕層形成斷續環帶的嶺脊山地，內鑲大面積白堊系和下第三系紅層的紅色丘陵台地，構成典型的盆地形勢。衡陽盆地南高北低。整個盆地南面地勢較高，1000米以上的山中東西連綿數十公里，而盆地北面相對偏低，衡山山脈雖較高，但各峰呈峰林狀屹立於中間，其東西兩側都有較低的向北通道，其東側的湘江河谷兩岸海拔高度均在100米以下。整個地形由西南向東北複合傾斜，而盆地由四周向中部降低，呈現1000米，800-700米、400-300米、150米四級夷為平面。
地貌類型以崗丘為主。四周山、丘圍繞，中部平、崗丘交錯。東部為羅霄山余脈天光山、四方山、園明坳；南部為南嶺余脈塔山、大義山、天門仙、景峰坳；西部為越城嶺的延伸熊羆嶺、四明山、騰雲嶺；西北部、北部為大雲山、九峰山和南嶽衡山。中部大面積分布白堊系和第三系紅層，構成衡陽盆地的主體，面積3550平方公里。南部山峰大多在海拔600米以上，最高是常寧的天堂山，海拔1265米。西部山峰多在海拔500米以上，最高是祁東縣的騰雲嶺，海拔1044米。東北部除南嶽衡山外，一般地面高程在海拔300米-500米。市境最高點為衡山祝融峰，海拔1290米，最低點為衡東的彭陂港，海拔只有39。2米。整個地形比降為7。9‰。地貌類型以崗丘為主，山地佔總面積的21%，丘陵佔27%，崗地佔27%平原佔21%，水面佔4%。
境內有河長5公里或流域面積10平方公里以上的江河溪流393條，總境長達8355公里，河網密度為每平方公里0。55公里。發源於廣西興安的湘江幹流，自祁東歸陽鎮入境，依次流經祁東縣、衡南縣、常寧市、市區、衡陽縣、衡山縣和衡東縣，境內長226公里。境內流域面積在3000平方公里以上的湘江一級支流有舂陵水，蒸水，耒水、米水。
1942年元旦，在中國城市群體中，增加了一個新的行政區域單位——衡陽市。衡陽市的誕生，標誌著歷史文化名城——衡州邁向新的歷史征程，對於衡陽地區乃至湘南的政治、經濟、文化的發展，具有深遠的、巨大的意義。新建的衡陽市將以自己雄健的步伐，對此作出深刻的有力的回答。
1941年12月，經國民黨中央執行委員會批准，以衡陽督察區治、衡陽縣城為主體，析衡陽縣城郊成立衡陽市。市區總面積269。47平方公里，城區面積12。3平方公里。湘江由南向北穿流市區，耒水注於城南，蒸水匯於城北；京廣鐵路穿行與江東，湘桂鐵路橫貫於城南。背依南嶽衡山，南面五嶺群峰，西連黔滇，北通鄂豫，是為南楚重鎮。
衡陽山川形勝，人文薈萃，自古稱為「寰中佳麗」。市區有「雁峰煙雨」、「石鼓江山」、「朱陵詩洞」、「花藥春溪」、「岳屏雪嶺」、「青草酒家」、「東洲桃浪」、「西湖白蓮」八景。有詩為證：「雁峰煙雨實堪誇，石鼓江山錦繡華。朱陵洞內詩千首，青草橋頭酒百家。花藥春溪龍現爪，岳屏雪嶺鳥喧嘩。試看東洲桃浪暖，西湖夜放白蓮花。」
位於城南的回雁峰，為南嶽72峰之首，四季景色宜人，春日花香鳥語，夏日林蔭遮陽，秋日觀江如練，冬日佩玉著銀。相傳北雁到此不再南飛。故唐王勃說：「雁陣驚寒，聲斷衡陽之浦」；宋范仲淹說：「塞下秋來風景異，衡陽雁去無留意」。
佛教勝地南嶽衡山，為天下五嶽之一，叢林遍布，峰高林密，風景獨秀。「祝融峰之高，方廣寺之深，藏經殿之秀，水蓮洞之奇」，是為南嶽「四絕」。
市轄之耒陽乃世界四大發明——造紙術發明家蔡倫的故里。耒陽城關有紀念蔡倫的祠、墓。衡陽縣曲蘭鄉有明末清初偉大的思想家、愛國主義者王夫之隱居著述的「湘西草堂」。歷史上，衡陽名人如璀璨的群星，光照千古。蔣宛、劉巴相蜀，史傳佳話；李芾抗元，忠烈千秋；彭玉麟剛介絕俗，光前裕後。進入近代，唐群英、劉道一、謝彬等傑出人物垂載史冊。著名的革命烈士夏明翰的「砍頭不要緊，只要主義真；殺了夏明翰，還有後來人」的就義詩，氣貫長虹，成為推翻舊世界的進軍號角。傑出的無產階級革命家羅榮桓元帥，為中國人民的解放事業和祖國建設鞠躬盡瘁，功垂寰宇。
衡陽建市時，正值烽火連天的抗日戰爭的第5個年頭。當是時，處在日本帝國主義鐵蹄踐踏下的華北和華東人民，為了免遭侵略者的迫害和屠戮，紛紛舉家連族，攜資南遷。衡陽地處湘南腹地，交通發達，因而成為人們蜂湧而至的避難地。市內人口聚增至45萬人。湘江兩岸，店鋪林立，工廠遍布。全國四大銀行，或遷衡陽，或在衡陽設立分行代辦機構。湘江西岸的中山南北路，百貨、布匹、日雜、副食、五金、電訊器材和建築材料等商場、商店6000多家。從上海、南京、杭州、寧波等沿海城市遷來的機械、化工、紡織等中型工廠100多家，工人4萬多人。到1943年底，全市工商業達8000多戶，單銀行就有32家，金店35家，錢莊200多家。商業總額3000億