位于豫东大平原上的开封，是黄河流域的历史名城之一，是继长安、洛阳之后，我国历史上第三个重要的古都，有着“七朝都会”的美誉。不管是战国时期魏都大梁的兴起，或是隋唐汁州城的重建，北宋东京的繁华，还是明清开封城的衰败，都与黄河有着密切的关系。在金、元以前，尤其在北宋东京极盛时期，黄河还是经滑州城北东流，南距开封还有200km，所以历次河决多在北岸，主要泛滥于华北平原的北部，与古代的开封城没有什么直接关系。
从12世纪黄河阳武大决以后，河水开始泛滥于华北平原的南部，河水南泄，离开封城越来越近，并与开封城结下了不解之缘。清代学者顾炎武在(日知录》卷十二中有：禹之故迹，今运道临清至天津者是也。东汉以后河由干乘人海，即今之大清河也。自唐至宋、金之间，河渐南决，始合沐、泅，岁增月益，高于民田庐舍，且与开封城平矣。欲其无决溢之害，不亦难乎。又据《开封府志》记载：自金明昌五年(1194年)河决阳武，改道经开封城北四十里，东流人山东境，到清光绪十三年(1887年)河决郑州石桥的近七百年间，黄河在开封附近泛滥决口，达五六十次之多，而大水侵人城里者也有七次。明正统十三年(1料8年)，河决荣阳姚村口，流向东南，经中牟杨桥，过开封西南杏花营，由朱仙镇人涡河。这时，开封城已被黄河抛到北岸去了。明弘治六年(1493年)河决黄陵岗，改道东流，河道在开封城北二十里。从此以后，开封才位于黄河南岸。
自金大定八年(1168年)河决滑县沙店镇南的李国渡，到清咸丰五年(1855年)河决开封铜瓦厢止，其间687年，黄河这条巨龙在开封城南泛滥成灾，淤没了原来的汁河、蔡河、五丈河、金水河和一些湖泊沼泽，改变了开封城及其周围的地理环境。黄水入城，直接淹没了官府、民宅、仓库、商店。在这期间，开封城不仅成为黄河的迁徙起点，而且还成了黄河经常决口泛滥的险工地段。在黄河变迁史上，被称为“夺淮七百年”，这一时期，黄河主要经开封南流人淮。黄河水患给开封人民带来了巨大灾难，于是开封人民开始思念起古代传说中的治水英雄大禹，怀念历史上一批治理黄河、兴修水利有贡献的人，如郑国、王景、贾鲁等人。幻想他们神灵再现，来消除人间的灾难。于是，在开封城南的古吹台上修建了禹王庙，在禹王庙中又修建了水德祠。此外还在城北门外的护城堤上，铸造了一个身高五尺、围宽八尺、鼻端生角、样子象牛的镇河铁犀。
据神话传说：犀有灵角，可以避水;根据阴阳五行理论，牛属土，土克水，铁又属金，金生水，既然水为金出，金即为水之母，母可以制子。因此，以铁铸犀牛镇河水，既符合五行生克之理，又合乎以母制子的封建伦理道德之义。据《汁京遗迹志》、(祷符县志》等书记载：开封的镇河铁犀为明于谦出任河南巡府时督造的。于谦是明朝著名的清官，也是著名的治水专家。据(汁京遗志)记载，当时黄河水涨威胁到开封时，于谦率领人民抗洪救灾，以身作则，亲临工地，大水紧急时，他把皇帝赐给他的蟒袍投人水中去堵水。“今朝太行南，明日太行北”，“秋雨黄河水，春风宛子城”，终年劳碌奔波，晓行夜宿，他在任上，黄河水患一度减轻。
据(祥符县志)记载，镇河铁犀是在明正统十一年(146年)五月铸造的，安放在当时的安远门(北门)外的护城河堤上。铁犀背上还有于谦亲自撰写的铭文，2句8字：“百炼元金，溶为真液，变幻灵犀，雄威赫笑。填御堤防，波涛永息，安若泰山，固若盘石。水怪潜行，冯夷敛迹，城府坚完，民无垫溺。雨顺风调，男耕女织，四时循序，百神效职。亿万间阎，措之枉席，惟天之休，惟帝之力。尔亦有庸，传之无极”，下款写明：正统十一年岁在丙子五月吉日渐人于谦识。于谦撰写的铭文，主要表达了人们乞求神灵默佑的良好愿望，在当时也的确起到了安定人心的作用。
其实，以铁犀镇河的神话传说并非始于于谦，战国时史启治理漳河时，就铸造过铁犀以趋水怪，秦国李冰在都江堰工程完毕时，也铸铁犀填水。可见，铁犀镇水的传说由来已久。在当时科学技术不发达，人们还没有摆脱愚昧状态情况下，加之人们缺乏对自然灾害的认识，这种良好的祝愿可以在精神上给予安慰，但它毕竟只是一种美好的愿望而已。实际上，一个铁犀是镇不住什么洪水的。镇河铁犀建后的第十五年，即明天顺五年(1461年)七月`四日，河决开封。当时人张琦曾写下这样的诗句：“扶竹登高回首望，黄河一线响如雷”((明史·河渠志))。无情的历史事实证明：治理黄河，战胜洪水，既不能靠大再在天之灵的保佑，也不能指望镇河铁犀的默护。在这次大水中，这个“镇河神兽”也自身难保，被浪打沙压，沉埋在淤泥之中。
千百年来治理黄河的历史说明，只有依靠人民的智慧和力量，只有在人民当家作主的国家里，咆哮的黄河才能被驯服，才能变水害为水利。
如今铁犀牛坐落在河南开封市北门外东北的辛庄回龙庙内。回龙庙是明正统十一年(1446年)于谦所铸造。由于当时黄河水患连连，故铸此物镇水。明末的水灾，将庙宇冲毁，铁犀牛亦遭淹没，一直到清顺治年间人们才将它挖出。康熙三十年(1691年)重修庙宇，名铁犀牛镇河庙，将铁犀牛置于庙内。铁犀牛高约2米，背上铸有文字，落款“正统十一年岁在丙寅五月吉日浙人于谦识”。
犀，其状如牛，属奇蹄目、犀牛科，和牛不同的是角和蹄。独角犀，角生于鼻子上方，即面部之中线；双角犀两角上下纵行排列，前大后小，而牛角则横排、对称；牛蹄两瓣，犀蹄三瓣。
上古时期，犀广泛生活在我国中南部地区，是一种被古代人民神化了的瑞兽。《吴越志》载：“钱武肃王时，有献云鹤水犀带者(以犀角嵌于带中谓之犀带)。武肃王登碧波亭命许彦方系带试水，水开七尺许。”因此历代相传犀能镇水。秦代蜀守李冰曾以石犀五头以压水精，明于谦铸镇河铁犀，其用意同样是镇水。
开封镇河铁犀系独角犀，但它的角没有铸在鼻子上方，而是立于脑顶，蹄也只有两瓣，而非三瓣。所以确切地说，开封镇河铁犀实际是一个似犀非犀、似牛非牛的异形犀，所以老百姓俗称其为铁牛。这种牛犀相混的情况，非独开封一处，北京颐和园、山西大同、四川都江堰、湖南茶陵、江苏徐州等地都有不同年代的石牛、铁牛、铜牛，甚至完全以牛代犀，而犀对老百姓来说，似乎太遥远和有点儿神秘，远没有牛来得亲切，所以开封铁牛村的居民尽管与这尊镇河铁犀世代相守，却只叫铁牛村而不肯叫做铁犀村。
开封这尊镇河铁犀是省级保护文物。开封柳园口黄河大堤、郑州花园口黄河大堤和杭州西湖边上的镇河铁犀，则是这尊铁犀的复制品。