很久以前，在河南社旗出了个巧手泥匠叫王得财，他不但手艺好，还是个有名的孝子，人们对他都格外抬举。一天，一个姓赵的人来请他盖房子，这家主人很大方，顿顿饭都少不了鸡鸭鱼肉，王得财心里很高兴。可过了几天大鱼大肉就没有了，王得财越想越生气，就想撂下活回家。可又一想，这么样走了是个啥道理呢？能叫人说我争吃喝没出息吗？于是忍着气继续盖房。
快到迭房脊的时候，他想起师父曾经说过：盖房子时在脊缝里放个手推小车的泥巴人，就会叫主人家慢慢变穷。王得财心里有气，就暗地里捏了个手推小车的泥巴人，放在了房脊里。新房竣工后，主人家先捧出工钱，然后又递过一个瓷坛说：“王师傅，我看你是个大孝之人，老娘年纪大了，应该补养补养身子。这坛里是积攒的几十个鸡大腿，带回去给老娘捎个心意吧！”
王得财一听这话，脸“腾”地红了，他知道自己错怪了主人家。心想：要是那个泥巴人真能把主人家推穷，自己算是良心坏到底了，这么做实在有愧于心，可是当面扒出来吧，怪不好看，只有想个办法破解此事。想到这儿，王得财不接东西，在院里转了一圈，然后对主人说：“赵大哥，我看你这么大个院子，又大门冲二门的，实在不好看，干脆把剩下的砖用上，再垒个影壁墙吧！”
主人家自然很高兴，王得财就动起手来，拿出十二分手艺，把个影壁墙垒得又结实又好看。主得财心想：“有了这堵墙，小车就推不出大门，主人家也就不会破财了。”主人家不知原因，看了影壁墙，觉得又好看，又能遮挡门户，还一个劲儿夸王得财是巧手鲁班呢！后来，人们见影壁墙确实有很大好处，就在盖起房子后也垒上一个。你垒我也垒，越传越远，渐渐就成了风俗。影壁墙的传说