我国佛教、道教、伊斯兰教、基督教等四大宗教在于古徽州一府六县（黟县、歙县、休宁、婺源、祁门、绩溪）境内均有，然而它们活动的历史各有长短，分布也各不相同。
徽州佛教始于东晋、南北朝，兴于隋唐，盛于宋明而衰于清末，历史最长、分布最广、寺庙众多。
徽州佛教供奉的是菩萨或文殊、普贤或观音、地藏，在寺庵的僧尼均须落发长年吃素，属汉传佛教。据县志载，东晋大兴二年（319年），僧天然在休宁万安镇水南村建南山寺。南北朝时，各县均有了佛教活动。据《黄山图经》记，南朝刘宋元嘉年间（公元424-455年）就有新罗（今朝鲜半岛）僧到黄山结茅，传经布道，并在钵孟峰下，创建新罗庵。南朝梁（公元502-527年）时，祁门县建有普福庵，梁大同元年（公元535年），黟县建有广安寺和居尼寺等。唐贞观初年，太宗诏令天下：“交兵之处建立寺刹”。由于皇帝的推崇，自隋唐始，佛教在我国迅速发展兴盛起来，徽州也不例外，仅屯溪就先后于唐贞观十年（636年）、会昌年间（841-846年）建新屯寺、齐祈寺和龙山寺。徽州佛教历经唐、宋、元、明、清五个朝代，到清末已是寺庙遍布城乡，凡人口较多的村落或名山风景之处均建有寺庙庵堂且有僧尼居住。休宁县自东晋至唐建寺庵25座，宋至清建有78座；祁门县至清同治十二年（公元1873年）包括已废旧寺共建134座；歙县先后建寺庵计242座，婺源县至清末相继建寺庙庵堂达290余座。黄山历代所建寺庙110多座，其中唐代7座、宋代11座、明代57座。
徽州道教始于唐代。据县志载，唐大历年间（766-779年）庐山虎溪道士黄元素创建祁山禅院（又名龙潭观），唐乾元年间（758-790年）龚栖霞抱道绝粒栖隐于石门之岩，留下道教遗踪。唐代黄山建有九龙观、浮丘观等。由于皇帝的推崇，徽州道教兴于宋而盛于明。宋崇宁四年（1150年）黟县的洞灵观敕改为灵虚观，至清先后建天尊观、龙门禅院、真元道院、迎恩观等道观；宋代祁门县建龙兴观，元代县人谢本真在城南建上清灵宝道院，明代先后建有颐真道院、冲虚道观、上真祠、崇庆观等5处；歙县自唐至清先后建道观19座；婺源县宋元两代各建道院7座，明洪武二十四年有道观15座，至清代先后建有30余座；休宁县唐朝建有白鹤观，宋大观二年（1108年）迁址县城东南葆真山并更名“崇寿观”，明至清代，除齐云山外，有宫观14座。
道教是中国汉民族固有的本土宗教，以“清静为宗、虚无为本、柔弱为用”，崇尚自然之旨，故徽州境内的名山就成了道士修身养性、修真得道的理想之地，吸引着境外高道名士前来栖真修道。传说轩辕黄帝就曾在黄山炼金为丹、得道成仙而升天，今有轩辕峰、炼丹台、丹井等遗迹。宋代黄山道教活动一度兴盛，先后增建松谷草堂、城山观、老庵、开真观、步云亭、钓桥庵等7座道观道院，其中九龙观、黄山观受到皇帝敕额，然黄山上的道教由于佛教的兴盛而于明末完全让位给了后者。齐云山（古称白岳）则以其独特的丹霞地貌，不仅吸引着高道名士，还吸引着热衷道教的皇帝。
宋宝庆二年（公元1227年）方士余道元仙游齐云岩，建“佑圣真武祠”，塑真武大帝神像供奉，为齐云山布道之始。到了明代受到诸帝王的推崇，齐云山宫观道院相继落成，道教日趋兴盛。明嘉靖元年（公元1522年）世宗登基，诏天下名道，出入宫禁，建坛祈祷，次年又敕令江西龙虎山正一派张天师张羽页入觐，封赏入驻齐云山，赐建“玄天太素宫”御制碑文并敕赐山名“齐云山”。从此齐云山声名大振，香火不绝，成为江南道教文化中心，与武当山、龙虎山、青城山并称为中国四大道教名山。清代齐云山道教继续发展并得到皇帝的青睐，清乾隆皇帝为齐云山题写“天下无双胜境，江南第一名山”的楹联，有宫观47所、道房36处，每年重阳节前后，来自苏、浙、皖、赣的信士弟子朝山进香者日达4000余人。民国时期，香火旺盛，以月华街为中心，香客如织热闹非凡，直至建国初期尚有道院12处，道士70余人。