相传很早以前，老河口西北十五里处的汉水河边，有一座风光秀丽、草木茂盛的无名山。不知什么时候，一只万年修炼的白虎悄悄地占据了此山。这只白虎一不伤人，二不欺兽，每日仰卧山间闭目养神，只是正当午时时径直到河边去饮水，才被人们发现。看见的人多了，就把这座山叫白虎山。
有一天夜里，电闪雷鸣，大雨倾盆，东海一条青龙因触犯龙宫清规，驾着雷雨逃至对面的山岗上安下了家。这只青龙日隐夜现，粼光四射，青烟绕缭，惊动了四乡村民。后来人们便叫它青龙山。
青龙、白虎二山遥远相望，互不服气，对峙不下。白虎山长高一寸，青龙山长长一尺。天长日久。虎高龙长，眼看村里的黎民百姓就要被二山封住，与汉水隔绝，那就断了生路。这天土地爷外出查看，发现龙虎相斗，与民有害，亲自到天庭禀告玉皇大帝得知。天帝闻听，唤来东岳泰山之神黄飞虎手持赶山鞭当即下凡，一鞭打断白虎腿，一鞭拙瞎了青龙眼，镇住了青龙白虎二山，并用鞭杆划地为界，留下一条小溪。
泰山神爱民如子，救了四乡百姓。大家为了恩谢山神，就捐钱献款，修盖庙宇，塑像立尊；请来五台山方丈看护庙堂。每年正月十五焚香烧纸、朝拜泰山神。后来人们便叫此庙为泰山庙。