南北响堂寺分别座落在邯郸鼓山的南坡和北坡，相距三十多里。很久以前这里原是一片荒山秃岭，野草丛生，山脚下有一条小河。那时候这地方出了个宰相，常搜刮民财，抢劫美女，无恶不作。
一天，宰相带着文武官员回乡游山玩水，正好遇上风水先生看墓地。这是一个贪财如命，见钱手痒的家伙。他见宰相过来，故意大声说：“那山下是块好地方，将来还会出皇帝。”宰相一听，心里就害怕了，心想，如果这里真的出个皇帝，我还能横行吗?想到这里，他对官员说：“把那个风水先生逮起来。”
第二天，风水先生被押到了堂上，看见还备有水果点心，一时丈二和尚摸不着头脑。宰相乐哈哈地从旁边小门里走出来，风水先生急忙跪下磕头求饶。宰相说：“先生不用害怕，你说鼓山南坡为什么会出皇帝？” “老爷，那座山就象一条巨龙，火气旺盛，山脚下还有一条小河，那是天下一块难找的好地方。”宰相听罢问：“有没有办法破掉这个风水呢?”风水先生说：“只要老爷开思，办法有一个。”宰相听了非常高兴，就让管家拿出十两银子，放到风水先生面前说： “这点银子你先拿去，以后用钱请到府上来。”风水先生一见那白花花的银子，忙说：“老爷，只要在那山脚下修座寺院，雕上石佛，再建一座十层塔把龙头压住，就不会再出皇帝了。”宰相如获至宝，对风水先生说，“你先住在府上，等寺院修好后，我送你回家。”
随后宰相就贴出了告示，上写：“为了给众百姓消灾灭难，本府在鼓山南坡，修建寺院，限期一个月完工，按期完工者有重赏。”过路人看了都是摇头而去。两天过去了，还没人敢揭告示。宰相急得就象没头苍蝇，到处乱碰。到了第三天，鲁班从此路过，见官府为当地百姓修建寺院，心里很高兴，便揭下告示，并很快动工了。
二十多天过去了，鲁班才知道宰相修寺院并不是为百姓消灾灭难，而是为自己在这一带永远称王称霸。鲁班很生气，就故意拖延时间。到了最后几天，塔才垒到第七层时，鲁班深夜告诉工匠赶快收顶。这时监工的官员一看寺院已经修好，马上带着鲁班到官府禀报宰相。宰相听了十分高兴，马上摆酒设宴招待鲁班。
第二天，是农历正月初八，宰相和风水先生一起来到寺院，一见活灵活现的石佛，连连称赞。正当宰相高兴的时候，风水先生却大吃一惊，用手一指那座塔说：“老爷，大事不好。您看那塔只盖了七层，还有三层没盖。”宰相扭头一看，气得脸色发紫，眼珠都快棹出来了，大声喝道：“来人，把鲁班押起来，斩首!”这时有个下官凑到宰相面前说：“大人息怒，事到如今，不如先问一下风水先生，有无办法，随后再杀鲁班也不晚。”风水先生吞吞吐吐地说：“办法还有一个，不过老爷您得破费很多银子才行。”宰相说：“不管花钱多少，只要能破掉这个风水就行。风水先生说：“老爷，人生在世，只有龙头风尾相扶，才能成为贵人，二者缺一不可。从这一带风水来看，有龙头必有凤尾，明天请老爷一同沿鼓山寻找风尾。”
第二天，东方刚亮，宰相带文武官员和风水先生一同沿鼓山向北走。这天天气晴和，到了中午风水先生连渴带饿，脚上也磨了血泡，对宰相说：“老爷，到了，风尾就在此地。”宰相一听风尾找到了，高兴得都不知道东两南北了：“这寺院建在何处，何日修成为好?”风水先生看了看那陡峭的山崖，又掐指一算道：”这里因为凤尾太高，寺院必须修在山腰，时间最多不能超过三个月。”宰相又问：“先生，你看哪位工匠修建最好呢?” “以小人之见，鲁班的工艺非同一般，不如还让他修建。”宰相道：“鲁班犯罪，理应斩首，难道你不知道吗?”风水先生看了看宰相说：“鲁班虽有罪，但他还在您手中，等建成寺院再斩也不迟。”宰相想这样也行，不过一定要严加看管。
宰相传令把鲁班押到大堂上，一拍惊堂木喝道“鲁班，这次饶你死罪，限你带领工匠三个月在鼓山北坡重建寺庙，违抗者一律斩首。”鲁班为了工匠们能够保性命，只好答应了此事。鲁班带领着工匠没明没夜地干活，宰相怕鲁班和工匠们逃跑，派人昼夜监管。工匠们连下山吃饭都不准，只能靠家人送饭。一天，宰相和风水先生来查看时，山下有人问山上的牧羊人：“修好了没有?”牧羊不加思索，慌忙应道： “修好了！”话音刚落，只听得轰降一声巨响，紧接着一股浓烟冲出山洞，直升天空。
等到烟消云散，一座青石垒墙，石窟并开的寺院出现在山腰。宰相和风水先生被浓烟推到东南山顶上，变成了两块石条，后人称茅缸石口。这天正是农历三月十五目。
后来，这一带百姓为了纪念鲁班和工匠，便于正月初八在南响堂寺起庙会，三月十五在北响堂寺起庙会。