民间传说，康熙皇帝到五台山寻父。有一天夜晚，在返回行宫的途中，走至台麓寺附近，突然狂风大作，天昏地暗。他们一行人马迷失了方向，接着山呼林啸，地动山摇，康熙的护驾侍卫立即把圣祖围在中间。这使康熙皇帝的随从惊恐万状，就在这群人马慌作一团，无计可施之际，忽听前面有人大声喊叫：我主莫慌，卑职前来接驾。康熙忙问：汝是何方侠者，前来接朕？
“我是万佛阁龙王殿的老五”
“汝能为朕除险，待朕安抵行宫，朕定封你为公侯”
“遵命，随我来”
就这样，康熙安全返回行宫。第二天，康熙命侍从将一件龙袍赐给万佛阁五爷，以嘉奖五爷的引路救驾之功。这便是五爷身穿龙袍的来历。
五爷是文殊菩萨的化身，在当地特别显有灵气，也是香火最旺和许愿最灵的一尊神像。因为五爷对康熙护驾有功，所以后人常供奉五爷，以保官运亨通，官职稳定。