“飞山庙”曾经是城步常见的一种庙宇，也是中国中部和南部过去常见的庙宇。可以说，在过去，凡是有杨姓人聚居的地方，就有“飞山庙”。这种庙宇一般都二至三进的单层四合建筑，体积宽大，屋面盖青瓦，挑檐翘角；屋内厅柱粗大，檐柱穿枋前端雕饰有鲤鱼头部朝向厅内图案，屋住基石均阳刻有花草和飞禽走兽，整个建筑构思设计非常独特，且十分讲究。那么，这种庙宇的来历又是怎样的呢？这事还得从杨氏先祖杨再思说起。
后唐时期，在湘黔边境地区有一位声名显赫的苗族酋长，他就是苗、侗、瑶等族众公推的“飞山蛮”十峒首领杨再思。
杨再思自幼聪颖好学，深得其父亲杨居本喜爱，在其父亲的精心培养下，文武兼备，十四岁随父据守叙州。这时，西南八番蛮帅踞地称雄，袭南诏（今云南大理地区），寇播州（今贵州遵义地区），边境不得安定。杨再思随父出兵征讨，在平定叛乱中屡建奇功，受江陵节使器重，举荐他为叙州知府，统领五溪（今湘黔边境的舞阳河、清水河、渠阳河、辰水、巫水）峒地。
再思赴任后，资政有方，他以峒寨的为单位，将叙州按五溪流域划分为十峒（其峒制查当于县级、城步为十峒之一），峒首称长史，即十峒首领。再思以州内吴、龙、石、蓝、向各大姓氏头人为峒官，实行依靠多数，团结多数的政策，对作乱不法人员实行改造，对屡教不改者实行处罚和遣送，使州境安宁，社会稳定。他倡导民众耕作方式，学习汉族种田，种棉、纺纱、织布。同时，开设商贾贸易市井，搞活边境物资流通，使叙州逐步走向繁荣昌盛。民众得以丰衣足食。
然而，叙州的富庶，引起两部罗旬与都匀蛮酉尹怀昌等人的不满，常联络部落蛮首侵犯叙州边境，劫掠叙州境内百姓财富，使得州境不得安宁。由于杨再思娴熟武略，组织州民自卫，身先士卒，卒重兵把宁，多次击败来犯部族。使州内长活久安。州内民众十分称佩杨再思的韬略才班干，称他为“叙州父母官”。叙州邻近峒寨都诚服杨再思的领导与指挥，个个齐心协力建设自已的家园。唐昭宗有感于杨再思政绩，钦派御史去叙州宣慰，授杨再思为“龙虎大将军”，“威远侯爵”。
杨再思受到朝廷嘉奖，却居功不傲。唐昭宗元年（公元889年），杨再思与李克用同受朝廷绢诏，李克用未能按时到达，杨再思独自奉唐应召。时逢唐王室局势动乱，叛臣朱全忠挟天子以令诸侯，威逼昭帝离长安迁都洛阳。天复四年（公元904年），朱全忠杀昭帝，立昭-宣帝，改元天佑元年，各郡自立，群雄割据。宣帝遣使至叙州，授杨再思为“江淮湖广都铃辖使，左仆射尚书”，都统兵马，驻兵沅州（今湖南芷江），分镇滇、黔、维护国家统一。杨再思不负重任，屡立奇功。天佑年间，朝廷赏赐异宝与金牌银印，令再思于朗溪（今湖南会同郎溪）建立军事重地。朝廷见杨再思忠良，虑及边境不宁，除杨再思原管辖地外，又增划东道百姓都（今叙浦县一带），西道三合都（今贵州铜仁、玉屏县一带），黄疆都（贵州黄平），乐土都和天口都（今贵州遵义一带），南道武占都（今广西柳州一带），北道竹溪都、南定都、应显都、转光都（今湖南吉首、张家界一带）。南界杨梅邑、西奥义宁县、横山武县都、石井定胜都、武强都、武宁都，以及大安、大茶、梅口、长滩、上黎平、木渣寨、京凉、赤水、清溪、大竹坪、扶城等地为杨再思统领导地域。
公元907年，朱显废昭宣帝，建立后梁，自称皇帝，号太祖，改元开平元年。原唐朝重臣亦多归附，杨再思领地周围均为梁封重臣领地。他在四面受敌地情况下，拒不从梁，亦不附楚，居中自立，忠实于唐，将叙州改为诚州，以示忠实于唐，在军事上，他加强军队防务，戒严其境，维护唐朝君主统治。为排除内乱外患，他积极蓄积办量，冀图光复唐室天下。天裕三年（公元906年）赵、梁、唐、晋、汉、周争夺中原，元瑕顾及南国。杨再思借机富州强兵，在经济建设上大力倡导“农桑”，不断提高人民群众生活水平，便诚州出现了欣欣向荣局面，后唐未帝李从珂得知杨再思之志，感真诚，于唐清泰国之年（公元934年），钦授杨再思为银青光禄大夫。诚州刺史，左仆射尚书，食邑一万三千户。
后晋时期，贵州都匀蛮长尹怀昌与蛮长张万浚复犯诚州境，被杨再思率众击败后，投奔楚王马殷，马殷联络西南八姓番帅实施合围，再与其十子孤军不惧，采取他部防守，重点攻击，各个击破的持久战术，经过八年努力，终将侵犯之敌消灭在桂黔边境的两江溪峒，从此，诚州得以安宁，再思凯旋归来时，已年届84岁。此时，他见诸子都已锻炼成才，遂将政权交与七子正岩，军权交与正滔，其余各子统领诸峒，自已则退职养天年。至后周显德元年（公元954年）十月二十六日，杨再思以94岁寿黔仙逝于诚外。
杨再思一生老于边事，上尊朝廷，下顺民意，缔造乐邦，德泽湘黔，深受民众拥戴，逝世后，历朝廷树为护国安邦，拓疆辟土的楷模。当地百姓为了纪念他，修建祠庙祈祷，亦风调雨顺，故又将他尊为神灵来祭奠。
北宋神宗元丰六年（公元1083年），宣帝顺应民意赐建“杨再思庙”于请州城西北飞山主峰，故名“飞山庙“，这便是飞山庙的由来。
后来，杨再思的后裔子孙就把建飞山庙看成是一种荣耀，从此，飞山庙也就成了杨家人追源思本，祭奠祖先英灵，彰显祖德风范、融洽各民族感情的一个重要场所。