香山寺位于十三朝古都洛阳城南13公里处的香山西坳，与世界文化遗产——龙门石窟西山窟区一衣带水，隔河相望，与龙门石窟东山窟区和白园一脉相连，并肩邻立。香山因盛产香葛而得名。
香山寺始建于北魏熙平元年（公元516年），唐垂拱三年（公元687年），印度来华高僧地婆诃罗（日照）葬于此，为安置其遗身重建佛寺。天授元年（公元690年），武则天在洛阳称帝，建立武周王朝，梁王武三思奏请，敕名“香山寺”，并重修该寺，当时香山寺危楼切汉，飞阁凌云，巍巍壮观，武则天常驾亲游幸，御香山寺中石楼坐朝。留下了“香山赋诗夺锦袍”的佳话。
唐大和六年（公元832年），河南尹白居易捐资六七十万贯，重修香山寺，并撰《修香山寺记》，寺名大振。这篇文章开篇第一句即是对香山寺的推崇“洛都四郊山水之胜，龙门首焉，龙门十寺，观游之胜，香山首焉”，此外，白居易还搜集了5000多卷佛经藏入寺中。白居易自号“香山居士”与如满和尚等人结成“香山九老会”吟咏于该寺的堂上林下，会昌六年（公元846年）白居易去世，遗命葬于香山寺如满大师塔侧。
宋金时期香山寺犹存，元末废弃，清康熙年间重修，乾隆皇帝曾巡幸香山寺，称颂“龙门凡十寺，第一数香山”，这句诗摘自他当时所作的诗《香山寺二首》，被镌刻在石碑之上，位于香山寺的乾隆御碑亭就矗立着这块石碑，已有两百多年了。
清末民国初年，香山寺又渐荒芜了，1936年香山寺进行重新修建后，为蒋介石庆祝五十寿辰而在寺内建一幢两层小楼。蒋介石和宋美龄多次在此避暑，这幢小楼位于香山寺内东南侧，被称为“蒋宋别墅”。
解放后，香山寺又进行了多次修葺，如今，为了实施“旅游强市”战略，拓展龙门石窟景区的观光项目，丰富香山寺的文化内涵，提升香山寺的旅游品位，弘扬中华民族的传统文化，洛阳市委、市政府及龙门石窟管理局依据《龙门石窟区规划》和《洛阳市龙门石窟保护管理条例》，投资600万元于2020年上半年完成了对香山寺的改造。该改造工程从2020年年底到2020年四月上旬完成，历时100天，创造了中国寺院速度之最。这也是香山寺历史上的第五次修复，新香山寺借鉴唐代风格，对蒋宋楼，乾隆御碑亭，衣钵塔等作为历史文物予以修缮、保留、保护。在原址上新建了钟楼、鼓楼、大雄宝殿，整修了天王殿、罗汉殿、步游道等。
除此以外，香山寺与佛教禅宗亦有很大渊源。二祖慧可禅师即在此跟随宝静禅师学佛，后来又回到香山寺精修，并遵从剃度师傅宝静的教诲，前往登封少林寺跟随达摩祖师学习，后传其衣钵，成为禅宗二祖。
香山寺已历经1400多年的沧桑，一直以来法音绵延，香火炽盛。如今经过第五次修复后的香山寺整个建筑新旧一体，气势磅礴，与龙门西山石窟隔河相望，与龙门东山石窟，白园并立，香山寺已成为龙门石窟景区又一处亮丽壮美，光彩夺目的景观！