仙人塔位于永丰县潭城乡水边村西北二华里处。仙人塔塔身七级四面，塔基正方形，边长零点八五米，通高三点三米，塔顶边长零点三米。塔身每层都是用完整麻石条凿成，嵌合于塔基上，人们用手一推，塔身可前后摇动而不倒。因其结构巧妙，民间传说是“仙人”所造，故名“仙人塔”。据《永丰县志》载，此塔建于明洪武四年（1371），距今有600多年的历史。
传说一
相传，远古年间，这一带民风十分淳朴，乐善好施远近闻名。这消息不胫而走，传到南海观世音菩萨的耳朵里，顿时肃然起敬，决定找个时间亲自走一遭，亲眼见证一番。
这日，观世音菩萨赴罢王母娘娘的蟠桃宴会，驾着祥云准备回南海，途经水边村。为了却心愿，她摇身一变，扮成一个年老体弱的乞丐，一手端着个讨饭的饭碗，一手柱着根“打狗棍”，一步一摇地来到了水边村乞讨。这时正值村里炊烟袅袅，家家户户正做午饭。扮着“乞丐”的观世音来到一户准备吃饭的人家，说明了乞讨之意，主人家一边招呼她坐下，一边接过她的饭碗，满满地盛了一碗饭菜递给“乞丐”。就在主人正准备自个吃饭之时，只见“乞丐”碗里只有几粒剩饭，还伸过饭碗索要饭菜。主人家二话没说，又给“乞丐”盛了一碗饭菜。主人家刚一转身，又见“乞丐”碗中空空，直叫还没吃饱饭。就这样，主人家不紧不慢地给“乞丐”添饭菜，“乞丐一刻不停地吃着，直到把主人家中午的饭菜全部吃完，说了声“谢谢”就走了。
吃罢第一家的饭菜，观世音菩萨仍不消停，又来到了另一户人家。那一家也像头一家一样，主人家只顾给“乞丐”添饭加菜，“乞丐”只顾一阵猛吃，结果也把那家饭菜吃得一点不剩。“乞丐”有些过意不去，便对主人说：“你们的饭菜我全吃了，你们吃什么？”主人家反过来安慰“乞丐”，叫她别介意，中午饭吃了可以重做。
观世音菩萨回到南海后，想想刚才只顾试探别人，害得两家重做中饭，心里很是内疚。为了弥补自己的过失和表彰乡亲乐善好施的崇高品德，随即命贴身的金童玉女连夜前去水边村建一座宝塔。
金童玉女接到菩萨的指令，一刻也不敢怠慢，赶紧来到水边村，又恐时间尚早，建塔的声响吵闹了刚睡下的人们，便决定稍等片刻。两人在闲来无事之际，便摆开了棋盘，下起了棋。
两人正下着棋，一仙人挑着一担豆腐打他们身边经边，见是南海观音的金童玉女正在聚精会神地下棋，也顾不上赶路，放下豆腐担子，躬着个腰在一旁指指点点地加入观棋的行列。三人当中，对垒的对垒，观战的观战，竟把建塔事宜忘得一干二净。
正当他们厮杀得难分难解之时，远处的村庄传来了公鸡打鸣的声音。鸡叫声惊动了金童玉女，天快亮了，塔没建好，回去怎么与菩萨交差？
就在金童玉女心急如焚的时候，挑豆腐路过的仙人问清原委后，看看自己的豆腐担子，灵机一动，安慰他们说：“别急，不就是建一座塔嘛，我来帮助你们。”话毕，卷起袖子从桶里拿出一块块豆腐，豆腐压豆腐一个劲地往上堆。当豆腐堆至丈余高像一座宝塔模样，豆腐也刚好没有了。
塔堆好了，只见那位仙人口里念念有词，用手一拂，立刻，豆腐塔便成了白色块石嵌合的宝塔了。
传说二
相传，古时浇源村一带有两匹马精住在现仙人塔下的洞里。每当稻谷成熟的季节就出来糟蹋粮食，年年民不聊生，后来玉帝知道此事后就派两位神仙下凡建塔镇妖，天亮前必须完成回天宫报到。傍晚时分，他们飘然而至，见天色还早，离 天亮还有好几个时辰，便在塔旁的桥上下起了棋。两位仙人是棋迷，棋艺也旗鼓相当，在天庭中就常常为较高下而争得面红耳赤的，此番下得凡来，不免手又痒痒了，商议着不在此较量出个高低绝不回宫庭。
两仙下得正酣时，又有一位仙人挑着一担豆腐经过此地，见二仙正聚精会神地下棋，兴致所至，放下了豆腐担，在一旁观战。二仙棋下得难分难解，不相伯仲，看仙也看得如痴如醉，忘了挑担，时间在观与战中匆匆流逝。三仙还沉迷于棋战中时，突然听闻东方一阵鸡鸣声，奉命建塔的二仙脑子一激灵，从棋战中清醒 过来，却只能眼见着天已大亮，而任务尚未完成。此刻建塔，已是来不及了，急得二仙团团转，相互指责起对方，懊恼任务未完成，回去定然会受玉帝责罚。
挑豆腐的仙人细细追问了解事情原委后，捋了捋那一溜发白的胡须，微微一笑，轻轻颔首，胸有成竹地说：“这有何难？”只见那仙人豆腐框中的豆腐瞬间变大，一块一块地从框中飞出，依序而垒，不一会便垒成了一座塔状。见形已成，仙人再轻轻一拂，豆腐塔便成了块石嵌合的塔了。二仙再三拜谢了豆腐老仙，飞身回天宫受嘉奖去了。