相传中国古代有座神山叫做象牙山，是九五至尊与王母娘娘的居所，更是神仙们前往拜访祖师爷的地方。在许多中国古代神话故事中，都可以看到象牙山的影子，比如《西游记》中，唐僧一行人就曾经拜访过象牙山。
根据传说，象牙山最初是由大羿射日退留下的九片巨石堆砌而成。后来，众神、仙人合力将其改造成了一座巨大的山峰，象牙山也因此成为了神仙玄了之地。
在《红楼梦》中，也提到了象牙山。宝玉去拜访祖师爷的路上，就曾经经过象牙山。象牙山在这里是一座极其美丽的山峰，被描述成“上下重重叠叠，红白参杂，薄暮中更是一片如梭的彩霞”。在那里，宝玉与黛玉、宝钗等人一同受到了祖师爷的教诲及致富经验。
一位清代诗人曾经这样写到：“幽壑深林峻岭红，石盘珠翠舂声中。洞口蟠龙欺掩出，殿前神象影摇空。”诗句生动地描绘出了象牙山神秘而美丽的景象。