1935年10月10日,衡阳火车站建成,位于衡阳市珠晖区。初建时,衡阳站主体站房为1栋3层楼房,面积2700平方米。有南北两场,其中南场有14股道,供旅客站台;北场有6股短线,主要用于修车和存车。在当时,衡阳站是粤汉线上的区段兼编组站,湘桂铁路建成后,成为通往两广、云贵和海外必经之站。
1950年,由于衡阳位于粤汉、湘桂两条干线的衔接处,客运、货运中转量大,衡阳站被列为全路主要编组站之一进行扩建。1952年,衡阳站建成全国第一个电气集中站。1964年,修建武衡双线时,对衡阳站进行了一次大的扩建。1989年,新建衡阳北站编组站。
1990-1995年,按照铁道部批准的设计,对衡阳站进行全面技术改造。南场专办客运,主要有5股客车到发线,4条货车通过线,10股客车整备、存车线,办理客运房屋总面积10478平方米,新建候车大楼。站坪向南扩宽,面积7800平方米。候车厅入口处设“三品”检测仪,楼上装电视监视系统1套,设16个探头,随时在萤屏上观察旅客候车动态,服务设施更为现代化。1995年5月30日,衡阳火车站由一等站升为特等站。
2005年5月19日,由于铁路运输生产力布局调整,衡阳北站、衡阳西站被撤并,统一属衡阳站管理。合并后的衡阳站有49股道,其中衡阳站和耒河站、衡西站区采用的是6502电气集中联锁,衡北站区采用微机联锁和TW-2自动化驼峰设备。
1936年,粤汉铁路全线通车,武昌至广州每周二、五开行旅客直达特快一对,衡阳境内铁路始有客运业务。1949年10月,衡阳解放,境内最早通车的区段为衡阳至观音桥,每日开行客车一列,早去晚归。20世纪50年代初,由衡阳始发或经过的旅客列车有:上海至广州、武昌至广州旅客快车,武昌至衡阳、衡阳至广州、武昌至柳州、衡阳至柳州普客。1966年“文化大革命”开始,铁路系统受到冲击,各地学校师生开展全国性“大串连”,使整个客运受到严重干扰和破坏。
改革开放以来,特别是进入90年代,城乡往来频繁,经商、外出打工、旅游人数增多,旅客逐年增多,铁路部门陆续增加旅客列车,扩大编组,以缓解列车严重超员的局面。途经衡阳及从衡阳站始发的客车由1989年的29对增至34对及44.5对,空调车全程对号的快车由4对增至8对。1994年4月15日,由衡阳列车段担当值乘的83/84次特快旅客列车首趟由广州开往衡阳。83/84次列车运行于衡阳至广州间,全程521公里,当时的运行时间8小时24分,中间套跑85/86次于长沙至广州间。这趟列车的开行,使衡阳这个交通要塞没有始发特快列车的历史成为过去,为加快湘南的开发和发展、缓解旅客乘车难提供了方便、快捷的交通条件。