祖越寺是千山最早的庙宇建筑之一。相传，在开始建寺时，有一位祖师从这里路过，曾仔细察看该寺的建筑，遂名为祖越寺。据考证，它最初建于唐朝，当时的建筑宽阔宏伟，大于现在几倍。后来，在金、元时期，山洪暴发，寺庙被冲毁，遗址就在现址前的低洼开阔处。
从遗址中曾发掘出较大的浮雕石栏板、望柱莲花佛座、柱基、残石碑头、瓷片等。这些遗物为考察千山的庙宇建筑和宗教历史提供了重要线索。
祖越寺现址为明朝时建筑，清乾隆、道光、光绪年间曾相继重修、整饰，解放后，又多次进行修缮。现有建筑七幢，释迎殿为正殿，它的东侧是胡仙堂和客室，正殿阶下为东西配殿，配殿南有钟楼、鼓楼，呈东西对称。正殿东侧是胡仙堂和客室，殿堂内供奉有泥塑，木雕佛像等30余尊。
释迦殿正对寺门，门外是一堵石墙，长达五十多米。现存殿宇，经1978年重修，由比丘尼住持。
祖越寺的建筑比较紧凑、集中、规整。它建造在蜿蜒、狭长的喇叭形山谷中，山的地势北高南低，寺前的平地边沿距下面坡地约有十余米，庙宇低洼部分全由石块垒筑垫高，可见当时的建筑工程是很艰巨的。
祖越寺殿宇壮观，山色秀丽，景致优美。东西两面山峰将它紧紧抱合，如双手捧着一颗明珠。上面峰青壁翠，林涛激涌；下面柱红瓦绿，殿宇辉煌。寺旁，山水汩汩而下，清新凉爽；后山，小亭岌岌而立，幽静雅致，使人留连忘返。
古人多有游祖越寺颂咏唱和之诗作，今人也多赞叹祖越寺之秀美壮观。前人用“祖越多奇境，天工亦幻哉”的诗句来赞颂，明人徐文华也写诗赞赏：“常遑回合水潺湲，路转坡坨百折还。上界钟声霄汉杳，前山塔影夕阳间，松涛涨壑千岩响，花雨浮空满地斑。坐久虚堂疑误入，恍然身世出入寰。”明御史程启充、明前给事中刘琦、给事中薛廷宠、监察御史朱篪、巡按御史史褒善等都有唱和。有的赞叹祖越寺“岩松宿雾常浮翠，石涧流泉漾落花”，有的赞“山引楼台连碧落”，“山川迤逦画图中”，令人“共来不倦登临兴”，乐游忘返。
祖越寺后山石壁上刻有“独镇群岳”四个大字，据传这是明隆庆二年（1568年），一位巡侍御所题，旁边还有“含译宣气”四字，由于年代久远，只能看出字的轮廓。山门东侧有一株古松，名曰“惧松”，“惧松”旁边有石碑，上有清光绪元年刻写的“天花乱坠地涌金莲”八个大字。
祖越寺周围有玉皇阁、罗汉洞、八步紧、七步松、夹扁石、一步登天等二十四景。玉皇阁在三十三天附近，筑于峭壁之上；罗汉洞中塑有十八罗汉；八步紧在卧象峰东，在陡壁下有石阶八蹬，循蹬而上，越过七步松、夹扁石，即可达一步登天。游人无不赞叹祖越寺奇俏秀丽的景色和精湛的建筑。