胡公岩位于余姚胜归山南坡。明嘉靖二十七年，胡宗宪任余姚知县，有效地禁住了胜归山开凿山石之风。十年后，胡宗宪调任浙江总督，为抗倭多次来到余姚，屯兵胜归山下，后人为纪念胡宗宪，特于嘉靖四十年在胜归山南坡雕凿胡宗宪官服像，故称之为“胡公岩”。胜归山之所以成为游玩胜地，不仅是有几个石孔而已，主要的还在于有着明代、清代至民国先后雕凿的岩崖雕像。胜归山旧有刘将军庙，祀东晋将军刘牢之。到明嘉靖间，在庙前增建复初书院，雕凿胡宗宪秉公断案之像。后因岁久，庙与书院渐圮。至明万历年间，有一僧人看中旧址，改建为禅院，依山岩雕凿佛像，历二十年竣工，称之为胜归山庙。增凿的佛像有袒胸露肚、捧腹大笑的弥陀佛，手执破芭蕉扇的疯癫和尚济公像，上面还有观音大士像，曲腿盘坐莲花宝座上，座下是浪涛翻滚的南海，有巨鳌游弋。东侧有赤脚踏宝莲台的释迦牟尼立像，以及横眉竖眼的多尊罗汉立像，各高五米左右。这些佛像，造型生动，神态各异，有较高的艺术水平。
胡公岩摩崖石刻于1981年6月被列入市级文物保护单位，2020年3月16日由浙江省人民政府公布为第五批省级文物保护单位。
胡公岩摩崖石刻在余姚胜归山，此山为余姚的座山和风脉所在，光绪《余姚县志》云：‘胜归山，在余姚邑治北数里，世传晋刘牢之胜孙恩归，屯师于此，故名’。后因历代在此山取石他用，所以俗称打石山。明嘉靖二十八年（1549），绩溪人胡宗宪就任余姚知县，为保护属邑风水，即写定书契，捐银赎买胜归山，并将山地归官，至此胜归山开山取石之风才被遏制，重还了姚邑葱茏秀丽之北山。
后来，胡宗宪一直带兵抗倭在浙东前线，屡屡取得大捷，护佑了一方安宁，百姓为纪念这位曾经的父母官，于是在嘉靖三十四年自发在胜归山雕凿胡宗宪像，以示尊怀，即今胡公岩。在此后的数百年间，附近山崖旁又陆续雕凿了十余座造像及各类题刻，形成了浙东一处从明至民国独特的石刻文化遗存。
胡公岩现存摩崖造像14躯，其中年代最早为现观音阁的原胡公像，有边款记之为嘉靖乙卯年，但可惜的是当年的胡公像没能留存下来，取而代之的是后来重塑的观音大士像；年代最晚是胡公殿胡公造像，刻凿于民国三十五年；胡公岩摩崖还有许多名人格言题刻，绝大多数没有纪年，艺术价值亦一般。有说胜归山（包括胡公岩）在文革中毁掉了一批近现代名人造像及题刻，将信将疑吧，如有的话，也不可能是真正的名人题刻，应该都是照葫画瓢之类的作品吧。
胡公造像位于胡公岩造像群中部，壶门形龛，龛上横方镌有‘胡公殿’三大字，无款，龛内凿半身人像：胡公身着官袍，头戴纱帽，左手拈长须，右手扶案板，一副懔然办公的模样，案前浅刻有‘胜归’二字；龛东侧刻有胡宗宪简历一方，落款为‘民国三十五年·黄胄敬书’，西侧则刻捐助人名讳及钱额。
胡宗宪（1512--1565），字汝贞，号梅林，明徽州绩溪人。嘉靖十七年进士，嘉靖十九年知益都县，以艰归；嘉靖二十八年任余姚县令，有政声；嘉靖三十三年出任浙江巡按御史；嘉靖三十四年擢都察院右佥都御使；嘉靖三十五年迁兵部右侍郎兼右佥都御使；嘉靖三十九年以平海盗汪直功加太子太保，晋兵部尚书；嘉靖四十一年十一月被捕入狱，次年革职还乡；嘉靖四十四年三月被再问罪，同年十一月初三死于狱中，终年五十四岁。隆庆六年，得以平反昭雪，并录平倭功入国史；万历十七年，赐葬故里天马山，追谥‘襄懋’。
关于胡宗宪其人，历史上纷争颇多，有说是抗倭名将、民族英雄；亦有说是奸邪佞臣、媚上欺君之徒。笔者认为在国家、民族大义面前，其他任何皆可虚化、搁置，皮之不存毛将焉附。
该摩崖石刻位于胡公岩上端凸出的岩石上，为胜归山摩崖石刻最早雕凿地，始凿于明嘉靖三十四年（1555）。原先造像的雕凿为胡宗宪像，不知何时毁圯，后来又换成观音大士像。前凸的岩石上刻有‘胡公岩’三个大字，两旁镌边款‘大明嘉靖乙卯岁孟春吉旦·赐进士知余姚县巴郡李伯生’字样；题刻下方是一尊圆雕观音像，高1.92米，端坐在三层莲台上，法相庄严；两侧崖壁上分别刻有善财童子和龙女的造像，有圆拱形龛。
注：关于胡公岩摩崖石刻，在清光绪《余姚县志》有这样记载：“胜归山摩崖·嘉靖四十年。胡公岩·‘嘉靖辛’（案）胡公岩三大字横镌，石壁上旁有小字一行，惟‘嘉靖辛’三字可识，参《修复记》当并在辛酉岁。”看到此条笔者有些糊涂了，嘉靖辛酉为嘉靖四十年（1561），而现胡公岩最早的纪年为嘉靖乙卯（1555），要早于县志所载六年，且边款字迹至今仍清晰可辨，没理由县志作者会舍早取近的呀？于是翻阅大学士、礼部尚书吕本所撰的《修复胜归山记》，其中明确重修时间为嘉靖辛酉夏四月。故此，笔者认为此处摩崖石刻纪年有后世重镌的可能。