榔梅祠，全称“榔梅仙翁祠”，位于乌鸦岭通往金顶的路上，在南岩对面，明永乐十年敕建，是当年全山十六座祠庙中最大的一处，现存砖石结构正殿和配殿、厢房、山门、宫墙等。
榔梅真人李素玺，生于元朝泰定致和元年（1328年），字幽岩，河南洛阳人，深研《周易》、《道德经》。洪武初年，李素玺入武当住持五龙宫，永乐三年（1405年）派道士易本中将武当榔梅仙果敬献朝廷，永乐四年，李素玺又派道士吕正中到京城敬献榔梅，得到了明成祖朱棣的赏赐。皇帝认为，榔梅结果是个“瑞兆”，是玄武大帝对他登基即位的赞美，因此也成了明皇室大修武当、酬谢神恩的理由之一。于是，永乐皇帝下旨，封李素玺为“榔梅真人”。
武当以真武神君为尊，榔梅祠与真武大帝修炼的传说有着密切的联系。相传，真武大帝修炼时，由于意志不坚，中途准备下山，半路上遇到紫气元君化做老婆婆用铁杵磨针点化他。真武大帝返回山中继续修炼，经过此处时折下一段梅枝插在榔树上，说：“吾若道成，花开结果。”后来，他修炼成功，梅枝果然在榔树上插栽成活，并开花结果。据说，人吃后祛病压灾、延年益寿。关于榔梅树开花的情景，明朝魏良辅有诗一首：“冻梅偷暖著枯芽，石径云封第几家。雪色风香尤意会，青鸾御出过墙花。”
武当山曾产“榔梅仙果”确有其事，榔梅是武当山稀有植物之一。武当山有一种独特的植物，叫榔梅。可能是鸟衔各种果实在榔树上吃，梅核落入榔树裂缝中，不意生根发芽，使榔树发生变异，果实味道奇美，古人称之为榔梅仙果。
榔梅果不仅甘甜可口，还能疗疾延寿。皇帝下旨严加保护，并钦定为贡果。两百多年来，榔梅果一直专供皇室享用。皇帝有时也将榔梅果奖励给有功之臣，致使朝廷大臣将得到榔梅赏赐视为终身荣耀。
明代著名地理学家徐霞客来武当考察旅游，曾在《游太和山日记》中写道：“榔梅祠，与南岩对峙，前有榔梅树特大，赤干耸立，花色深浅如桃杏，蒂垂丝作海棠状。果形侔金桔，味似蜂蜜，金相玉质，非凡品也。”他品尝后，还向道士求要几枚带回家为老母祝寿。明代著名医学家李时珍在《本草纲目》中记载：榔梅，只出均州太和山。徐霞客在游览武当山后，形容榔梅开花时“花色浮空，映山绚丽。”
但是到了清朝，不知什么原因，武当山的榔梅树就已经完全绝迹，许多人遍访武当寻找榔梅，但都是扫兴而归，只留下“惆怅依荒岩”的遗憾。
值得庆幸的是，明嘉靖五年，安徽齐云山道士访武当山时，武当道教做为贵重礼品将榔梅树赠予齐云山。1998年，武当山将榔梅树从齐云山引回，栽植在榔梅祠旁。2004年已结出6枚果实，人们又见到这一稀世仙果了。人们希望不久的将来，武当榔梅会再现“花色浮空，映山绚丽”的景观。
道教故事：榔梅祠
传说，真武大帝到武当山修行，过了乌鸦岭，他坐在一棵又高又大的榔树下歇脚，对面几丈远的地方，又正好长着一棵大梅树。这时，正是二月底，新春时节，那梅树满枝儿疙瘩瘩、鼓堆堆开着梅花。一阵一阵的香气，逗得真武大帝越发舍不得离开这个地方。
真武大帝看这梅花，越看越喜欢，越看越高兴，忍不住走上前去折下一枝来。然后，他将梅花插在榔树上，心里暗暗祈祷：“梅枝呵！我若能修行成功，得道成仙，你就在榔树上生根发叶，开花结果；我若不能得道，你就花残枝枯，与我一齐死掉好了。”
真武大帝坐在榔树附近的岩屋里修行。不想荣华富贵，不想金银美女，整日打坐苦炼。他诚心地修行一年，梅树就发一条根。他又诚心地修行一年，梅枝儿就发一瓣芽。他诚心诚意修行一年又一年，梅枝儿葱葱郁郁长出了茂盛的枝叶。他修行成功了，梅枝儿就在榔树上长成了大树，结了香果。因为榔树上长着梅枝，人们就把这树叫做“榔梅树”，树果叫做“榔梅果”。
榔梅果又大又甜，金灿灿的，肉腻腻的，三五里外，能够闻到一股清香。因它是真武大帝亲手栽种的，它的仙气赛过王母娘娘的蟠桃。这时，八仙里的韩湘子路过武当山，忍不住摘了几个，坐在紫霄宫外的山峰上品尝。从那以后，这座山峰就叫湘子峰。
武当山的穷人，把榔梅果摘回家里。病人吃了榔梅果，病马上就好了；瘦弱人吃了榔梅果，马上就身强力壮了；小娃子吃了榔梅果，马上就成大小伙；老年人吃了榔梅果，落掉银发长黑发，落掉老牙换新牙，马上返老还童了。
原来这榔梅果是真武大帝有意给人们留的。
那一年，正当榔梅树结果的时候，皇帝的正宫娘娘害病了。这病害得蹊跷，全国医生都不能治好。娘娘瘦得三分不像人、七分正像鬼。这一下，皇帝老子急了，忙传下圣旨，各州府县贴出榜文：谁能治好娘娘的病，有妻的，高官任做；无妻的，招为驸马；道士盖大殿，和尚盖寺院，封为大神仙。
这时，武当山有个心肠不好的道士，一心想当神仙，享清福。他偷偷将榔梅果摘了，拿到京城，献给了皇上。
正宫娘娘的病治好了，又在皇帝面前能说会笑了。皇帝非常高兴，就封这个道士为榔梅真人。
皇帝知道榔梅果是无价之宝，就不准穷人摘了。他要榔梅真人看守榔梅树，并给他盖一座大殿，封名“榔梅仙翁祠”。
说也奇怪，皇帝把榔梅祠一盖起，榔梅树再也不开花了。树叶慢慢地黄了，树枝渐渐地枯了。没过多久，树不明不白的死了。从那以后，武当山就只有榔梅祠，再也没有榔梅树了。