湘桂走廊是中原通向岭南的最好通道，秦末和汉初时期，南越王赵佗在兴安大溶江修建“王城”的城堡营寨，作为零陵郡始安县县治。
西汉元朔五年（前124），置泉陵侯国，为境内建县（现代零陵）之始，东汉时，迁郡治于泉陵（治所在今永州市芝山区城北1千米），属零陵郡，治所在今芝山区城北1千米处。隋开皇九年（589），改泉陵县为零陵县。
零陵这一地名的由来与上古五帝之一虞舜有关。太史公司马迁为撰写《史记》，曾游历九嶷，追根溯源，他考证的结论是：舜“南巡狩，崩于苍梧之野，葬于江南九疑，是为零陵”。也就是说，舜帝死后葬在九嶷山，舜帝的陵墓叫零陵。古时帝王坟墓皆称陵，但为何舜陵要冠以一个“零”字?历来众说纷纭。一说是，零陵得名于潇水文流古泠水。《水经注》“泠水南出九疑山”，而在上古“泠”与“零”是通用的，“泠水”又作“零水”。舜61岁在尧死之后在位39年，100岁时到南方巡守，死于苍梧之野，葬于江南九疑山，100岁指归零整数，故称为“100陵”——“零陵”。舜帝葬于泠(零)水之源，舜陵因水而名，故称“零陵”。这一解释也是有说服力的，因山因水命名，是地名学的基本规律。秦始皇统一中国后，推行郡县制，因境内有舜陵——零陵，而设立零陵县，辖地包括九嶷、潇水流域，零陵县最早的治所在今广西全州咸水乡。根据北京大学《中国古代史教学参考地图集》辑录的重要古地名，“零陵”，是我国夏以前就已出现的全国三十四处重要地名之一。可见，零陵之名极其古老
湘水出零陵始安县阳海山，即阳朔山也。应劭曰：湘出零山。盖山之殊名也。山在始安县北，县故零陵之南部也。魏咸熙二年，孙皓之甘露元年，立始安郡。湘、漓同源，分为二水，南为漓水，北则湘川，东北流。罗君章《湘中记》曰：湘水之出于阳朔则觞为之舟，至洞庭，日月若出入于其中也。东北过零陵县东，越城峤水，南出越城之峤，峤即五岭之西岭也。秦置五岭之戍，是其一焉。北至零陵县，下注湘水。湘水又径零陵县南，又东北径观阳县，与观水合。水出邻贺郡之谢沭县界，西北径观阳县西，县盖即水为名也。又西北流注于湘川，谓之观口也。又东北过洮阳县东。
———水经注 卷三十八