关于这龙山的来历，有这样一个古老的传说——远古时代，炎帝在山东曲阜建都，黄帝在河南新郑建都，南方便是苗人的天下。苗人首领蚩尤勇猛异常，又有无人敢当的夸父相助，一度横扫中原，大肆抢劫屠杀，势如破竹。
一次，蚩尤与炎帝血战，炎帝大败，丢了国都，逃至 鹿（河北）。众部落更是人心惶惶。消息传到黄帝那里，他号召各部落团结抗敌，可他们都被蚩尤的凶猛吓怕了，皆不敢出兵应战。黄帝暗自筹划破敌之计，叫手下大将应龙带兵捉了许多猛兽加以训练。三个月后，与前来侵犯的蚩尤在阪泉（河北）发生了一场大战。两军相遇，那些虎豹熊罴便张牙舞爪，凶猛地扑了过去，蚩尤兵士吓得魂飞魄散，顿时大败。
黄帝率领大军乘胜追杀，追到涿鹿和蚩尤又是一场大战。夸父自恃勇猛，抡起大刀狂呼出战。应龙冲来，经一番苦战，斩了夸父。蚩尤见夸父阵亡，顿时慌了手脚，化作灰龙，向南逃窜，入河南、过湖北，南逃至全州岳湾塘，方停下歇息。黄帝见蚩尤化为灰龙逃跑，便化成黄龙紧随其后，追了过来。
蚩尤无奈，只好化成灰龙腾云作雾，迎头在天空中与黄龙撕杀起来，直杀得这一带天昏地暗。足足斗了几十个回合，未分胜负。正熬战之际，应龙在扫荡了蚩尤兵马后，冲来助战。灰龙见此大为恐慌，正欲逃跑，已被应龙挥刀砍下头来，落在了湘水悠悠的岳湾塘旁，化成一山，是为龙山。自此，南方平定，黄帝在金光照耀下回鹿建都，基本上奠定了整个中国的规模，而全州也从此归属中华，与“南蛮之地”一刀两断。
蚩尤死后，见汉人来往它的地盘，心里不服，便化为恶龙在这里兴风作乱，危害过往汉人。为镇住湘水恶龙，人们筹款修镇湘塔一座于龙山上，自此，汉人乘船南来北往便风平浪静。