玉泉寺南的棋盘山，以八仙对弈留下的石制棋盘得名。相传张果老和吕洞宾在山上下棋，一砍柴村民在旁观看入迷，不觉腹中饥饿，吃下张果老吃剩丢掉的桃核，回头见柴刀锈蚀如泥，刀把儿和扁担毫无踪影，心中生疑，便背负下山。回到村里发现街巷房屋变化异常，更无一认识之人，便摸索到原住处，问一耄耆老翁，老翁说：“吾先祖入山未归之事，代代相传，已历四世矣！”村民大吃一惊，屈指算来，二百年过去了！
夫遇仙的故事，许多地方都有流传，内容大同小异，棋盘山的传说，是具代表性的事例，和晋人陶渊明所写《桃花源记》有异曲同工之妙，反映了普通百姓在频频战乱中寻求安身之地的美好愿望。
棋盘山南行5公里，是仙翁山，即张果老的隐居地，张果老来棋盘山，无须腾云驾雾，徒步也就半个时辰。从各种史料记载和现存遗物分析，中国历史上确有张果老其人，而且在开元年间入宫给唐玄宗表演过仙术。唐开元二十三年（735），唐玄宗下诏为张果老树碑立传，今仙翁山栖霞观前敕封仙人张果老碑，详细记述了张果老仙迹。唐李《独异志》记载：“玄宗朝有张果老先生者，不知岁数，出于邢州。”邢州便是今天的邢台。
棋盘山顶的棋盘，千百年来无人能动，人尽皆知，现残存棋盘尺许，上有整齐划一的方格，人为所致确定不疑。棋盘山上除棋盘外还有灯杆石和多处佛教造像。棋盘旁的碑形青石，上有一拳头大凿穿圆洞，开始不知为何物。村民介绍说，这是古代的灯杆石，用来固定灯杆，灯杆上悬挂灯笼，以起到夜间照明的作用，类似海上的灯塔。早先皇寺有三处悬灯：棋盘山、馍馍山、村中枣坡，此三处是山口东接平原的制高点。直到现在，皇寺还保留着每逢春节在山顶悬灯的习俗。
棋盘山的佛教造像，大小不一，数量众多，有盛唐风格，大概与玉泉寺同期或稍后雕琢。唐代武则天崇尚佛教，由于她的倡导，中华大国迎来了第二个造寺高潮（第一次是北魏时期），石窟造像和摩崖石刻遍布各地。北魏佛像的秀骨清相、婉雅俊逸的风格在唐代佛像中明显消退，代之以健康丰满的形态，面容庄严、尊贵、典雅；在雕刻手法上，圆刀代替了平刀，衣褶更富飘逸和流动感。棋盘山的佛教造像，具有上述特点，佛龛高50到120厘米不等，佛像为立姿，形态各异，背后头光火焰纹线条流畅，雕刻精美，但面部损坏严重。