凤山，古代也称凤凰山。四周都是田地，两座山峰拔地而起，远远望去像是凤凰展翅欲飞，因而得名。
传说很久以前，有一年天降大雨，天空乌云滚滚，电闪雷鸣，河水暴涨淹没了村庄田野，人类和动物们无处可逃，发出了绝望的哀叫。
天上的凤凰飞过此地，悲哀万物生灵遭此劫难而自己又无力改变，于是张开翅膀落入水中，化作一座小山托起那些漂泊在水面的民众和动物。
天上的真武星君被凤凰的行为所感动，于是现身驱散乌云，大水才慢慢退去，民众感恩真武星君大德，在凤凰山上建真武庙以示纪念。
民间流传的说法是起凤山有真武之气，在此久居之人都能得到武学真谛，也应验了“山不在高，有仙则灵”的古谚。
福建晋江人黄锡衮年少有才，二十岁时高中进士，授予广西巡抚之职。
然而，此时已经是明朝末期，清军正席卷南下，而明朝内部大臣们却忙于争权夺利。
黄锡衮感到前途茫然，于是弃官隐居于于起凤山下，每日研读经书，并与隐居于此地的文人吟诗论道。虽然每天只是钓鱼品茶，但黄锡衮并不甘心就此隐没乡间，而是在等待时机大干一番事业，如今起凤山上的“朝阳鸣凤”几个竖刻大字就是当年他写下的。
朝阳鸣凤出自《诗经·大雅·卷阿》：“凤凰鸣矣，于彼高冈，梧桐生矣，于彼朝阳。”意思是有才华的人应该像凤凰一样站在高高的山冈上发出响亮的鸣叫，而一个要干出伟大事业的人，一定要像凤凰一样选择高大的梧桐树落脚，在合适的时间面对着早上的太阳振翅高飞。
此时的黄锡衮就像发出嘹亮叫喊并振翅欲飞的凤凰一样，立志要纵横于天地之间。
清朝政权稳定后，黄锡衮重新参加科举考试，此后仕途一直很顺利，官至兵部侍郎，后平抚“三藩”叛乱有功，加封太子太傅。
顺治帝驾崩后，他辅佐年幼的康熙主政于朝，帮助康熙逮捕了专横独断的大将军鳌拜，又支持水军提督施琅出师占领台湾，解决了康熙的内忧外患，被授予武英殿大学士兼管兵部事务。
黄锡衮此后辅佐康熙内振朝纲，外平叛乱，官居相国，位至极品，然后全身而退，父母子孙享受荣耀，自古少有。
从顺治帝到康熙帝，黄锡衮制定的对内缓解民族矛盾，对外稳定边疆的政策确保了清朝统治延续近三百年，有效管理的疆土面积东至朝鲜，南到越南、缅甸，西到帕米尔高原，北到贝加尔湖一带，如果不考虑政治立场，这是一个非常了不起的业绩。
黄锡衮之后，起凤山所处的武缘县也出了不少武功盖世的将领，比如太平天国将领中作战最勇猛，武艺最精湛，一直作为先锋大将从桂平金田村打到北京附近的北伐军二任总指挥林凤祥和李开芳。
还有幼年丧父，母亲改嫁后经常寄宿在起凤山观音阁，以贡品为食的民国枭雄陆荣庭。
陆荣庭入伍后参加了中法战争，从此官运亨通，官至两广巡阅使，其枪法极为精湛，据说可以手持双枪击中飞鸟走鱼。
陆荣庭衣锦还乡后还重新把起凤山修葺一新，并将武缘县改名为武鸣县，估计也是受到山上石刻“朝阳鸣凤”的启发。