在林州传统村落中，村庙是最为普遍的公共建筑,是人们的精神寄托。村庙为一村人乃至外村人共享，呈地缘关系。横水镇留马村有一座比干庙，便是具有这种功用的一座庙宇。
比干庙面阔三间，进深一间，前带檐廊。下面有高40厘米的石台基，中间有5级踏道，两侧置垂带。后墙、两个山墙均是青石垒砌。山墙前檐是灰砖垒砌的垛子，上有墀头，墀头四周饰莲瓣，中间左侧是吴牛望月，右边是奔马。外边两个檐柱下边的柱础石呈方形束腰，下部是圭角，上边是仰莲。柱外侧刻有对联：“原心略迹至圣亦许以仁，逆耳披鳞周朝尚封其墓。”石柱上承立枋、平板枋，柱、枋间嵌有雀替。平板枋和檐檩每间有两个荷叶墩。檐檩上承方形檐椽、飞子(飞檐椽)。灰筒瓦盖顶，硬山脊。山花上砌一个陶质兽头。廊后中间亦有两根小八角石柱，柱下柱础石是两层鼓状。墙中开两个板门，两侧各辟有窗。庙内塑有比干像。
比干作为商代帝乙的弟弟，官居太师，辅佐商王帝乙，功勋卓著。帝乙临终前，将王位传给儿子，托付比干辅佐。在纣王执政的前10年，比干作为王叔呕心沥血、精心辅政，使商朝经济繁荣，国富兵强，人民安居乐业。后来，纣王逐渐傲慢起来，随即沉迷于酒色之中，生活荒淫无度，重用奸臣，疏于忠相，处事专横跋扈，对爱妃妲己更是言听计从，殷商王朝迅速走上颓败之路。比干见纣王失政，暴虐无道，十分着急，常常直言劝谏。纣王不但听不进去，而且愈来愈讨厌这位叔父，再加上妲己在一旁使坏。有一次比干强谏：“我王所作所为，上不顾天，下不顾地，中不顾人，天地人心失尽，倾国之祸迫在眉睫，你必死于万人之手！”谏得纣王大怒，道：“我听说圣人的心有七个窍，今天我倒要看看你的心是不是七个窍。”说完叫人当场把比干开膛，挖出心来。
比干被纣王剖心以后，忠魂触动天庭，玉皇大帝派南始天尊下凡来救他。天尊对比干说，念他一片忠心，赐其死而复生，让他骑上快马，不要说话，速速外出，会长出新心，长生不老。比干听罢，离开朝歌，当即飞马西行，走到如今的横水镇杨伯山屯村西，遇上千年狐狸精妲己，妲己变成老妇人在路旁叫卖“没心菜”，比干忍不住问：“菜没心能活，人没心如何？”老妇道：“菜没心能活，人没心该死！”比干听了，长叹一声，口吐鲜血，坠马而死。
鲜血溅得周边都是，土壤石头上布满了血点。如今，这里的石头有许多有红色斑点，红色的土壤当地人叫红夹板土，石头叫“红花石”。
比干的马受惊后拖着缰绳，一直向东而去，又扭头向西跑，到如今的留马村附近，被人拦了下来。后来，这道山岭被叫做拖缰岭，拦马的地方被叫做留马。村里建立了供奉比干的殷相殿。
每年农历二月二十一日，比干的遇难日，这里都有纪念性的传统庙会。殷相殿后来被列为林州市重点文物保护单位。
比干没了心，也就无偏无向，办事公道，后人逐步把比干这位老幼都无欺的君子立为财神。在中国民间财神年画中，可以看见这样的打扮：文官装束，头戴宰相帽，五绺长须，手持如意，身着蟒袍，足登元宝，文财神有一种面目严肃，脸庞清癯，据说这就是比干。
比干成为财神，并非本人是个财主。民间流传这种说法：比干怒视纣王，将心摘下，扔于地上，走出王宫，来到民间，广散财宝。他虽然没了心，但因吃了姜子牙送给他的灵丹妙药，并不曾死去，因办事公道，所以深受人们的爱戴称赞。当时在比干手下做买卖者，都没有心眼儿，大家公平交易，谁也不会坑骗谁。把比干这位头号童叟无欺的正派君子，当作财神，当然是人人敬服的了。
也有传说，当初比干被挖心后，其妻陈氏有孕在身，随比干一起逃至林州。武王灭纣后，在太行山的森林里找到了比干夫人以及儿子，因她们避难时靠森林里的果子当粮食得以生存。所以，武王就赐予林姓，封他为林穆公，也就有了天下林姓自比干一说。比干庙里还有各地林氏的捐助。现在，每年的春天，林氏的后裔，都会有代表来这里祭祖。
据《史记》记载：“武王入殷，封比干之墓。”比干墓为我国第一座坟丘式墓葬，此墓在卫辉市北7.5公里的比干庙村。墓周围还有传说比干的七窍化成的没心菜和三叶无心草，护满墓冢，成了比干为国忠贞、耗尽心血的象征。历代皇帝多有祭祀并加以维修封谥，形成了规模宏大的经典古建筑群。庙内古柏蓊郁，碑碣林立，主体建筑有牌坊、神道、比干公塑像、照壁、山门、仪门、木枋、碑廊、拜殿、大殿、配殿、石坊、墓碑亭等，鳞次栉比，各具特色。
卫辉市比干庙历史文化积淀丰厚，被称为书法宝库的古建碑廊内的魏孝文帝碑、唐太宗贞观碑及大殿前的乾隆御碑、孔子“剑刻碑”等堪称稀世珍品，为比干庙留下了众多美丽动人的传说，庙内的“开心柏、板柏、平冠柏”更为传世一绝。