村民安绪鸡犬静，往昔故事谁能称。
刘叟破恩兵屯此，奇迹庙食神依凭。
后来胡公击倭寇，此地再息烽烟腾。
清吕迪这首《胜归山诗》，说的是浙江余姚胜归山的千年往事。山名胜归，已有1600多年历史。东晋隆安三年（公元399年），五斗米道士孙恩，一个已经沦落的低下士族，不甘天命，乘天下纷乱，于三吴八地起兵作乱，凶残烧杀抢掠。无奈天不助他，北府兵之猛将刘牢之，于会稽大破孙恩叛军。胜归山，便是刘牢之破敌屯兵之处。
刘牢之的遗迹已经了无踪影。此山石质精良坚细，自宋元时开宕取石屡禁不止。明嘉靖三十四年（1555年），当地民众凿像纪念曾任浙江总督的胡宗宪，是为胜归山摩崖之始。胜归山从此也称为胡公岩。到民国时期，胡公岩摩崖渐成规模。
山脚有灵岩禅寺，据记载始建于明万历二十年（1592年），现在新修为观音道场。与位于山腰的观音阁遥遥相对。从寺旁寻路而上，左侧的采石遗址，便是如今灵岩寺的殿阁所在。
胡公岩，省保文物单位，现在由民间信佛居士管理，所以给人的感觉是神祇祭祀有点混乱。眼前台阶上面，一堵石墙“南无阿弥陀佛”，上去第一座殿，题为胡公殿，里面是观世音像，仅在一旁挂了一小幅胡公的画像。
循石阶登临而上，回头可见余姚全景。过一道小山门，往小殿后面，便是胡公岩石刻的所在了。胡公岩摩崖石刻，大致可以分为五个组群。
最东面立佛祖释迦牟尼，已被烟熏火燎的乌七墨黑。高6.12米，呈旃檀佛造型；佛像头顶螺髻，方脸长垂；穿双领下垂袈裟，胸口饰万字符；右手下垂结与愿印，右手屈臂上仰结施无畏印；脚踩三重莲瓣，端庄相严。像顶摩崖刻‘佛光普照’四字，边款为‘民国乙亥年·胡世锠敬’字样。一侧雕有伏虎罗汉，虎尾高翘，虎目呆萌，罗汉左手擒虎，右手高举金刚圏。
往左来山岩上有两尊清代的罗汉，一为思惟罗汉，一为苦修罗汉。这两尊雕像是胡公岩上表现力最强的两尊。
苦修罗汉双眉紧锁，额头有几道深深的皱纹，眼窝深陷，颧骨突出，口唇紧闭，满腮胡须，袒露的胸部凸显出嶙峋的肋骨。罗汉侧身倚在菩提树下，手持念珠，袈裟下摆自然地垂覆在三重莲瓣上。上面石岩上刻“无量寿佛”四字。
思惟罗汉为比丘形象，高1.65米。罗汉盘腿而坐，面相丰满，表情生动；头略略侧向一边，左手支颐作思惟状，右手自然垂放在腿上；袈裟斜穿在身上，宽袍大袖，褶纹清晰，体现出了面料的质感；罗汉天庭饱满，缕缕发髻垂于颈前，双目微闭，嘴角呈神秘笑状，似乎已然了悟大同世界的真谛般。
旁边是辨经罗汉，因为手执经书，被当地人认为是文昌菩萨，被学生考试时所拜祭，也是让人啼笑皆非。两位罗汉相对而坐，一位罗汉举手投足，侃侃而谈；另一位罗汉则手展经卷，似持有异议而若有所思般。该组石刻场景刻画富世俗化。让人想起拉萨的色拉寺辨经场景。在其上面，另有一尊浅雕石像，但并不是同时代，从其服饰来说应该是明代的。
辩经罗汉、思惟罗汉和苦修罗汉，可以看作第二组雕像。从风格上来看，以及采用了同样的菩提树和莲台装饰来看，应该属同时期雕刻。
第三组是旁边的胡公殿和胡公像石刻，为民国所雕造，位于胡公岩造像群中部。壶门形龛，龛上横方镌有‘胡公殿’三大字，龛内凿半身人像身着官袍，头戴纱帽，左手拈长须，右手扶案板，案前浅刻有‘胜归’二字；龛东侧刻有胡宗宪简历一方，落款为‘民国三十五年·黄胄敬书’，西侧则刻捐助人名讳及钱额。
胡宗宪（1512--1565），字汝贞，号梅林，明徽州绩溪人。嘉靖十七年进士，嘉靖十九年知益都县；嘉靖二十八年（1549年）任余姚县令。因当地采石不止，捐俸银赎买胜归山，将山地归官，至此胜归山开山取石之风才被遏制，重还姚邑葱茏秀丽。嘉靖三十三年，胡宗宪出任浙江巡按御史；嘉靖三十四年擢都察院右佥都御使；嘉靖三十五年迁兵部右侍郎兼右佥都御使；嘉靖三十九年以平海盗汪直功加太子太保，晋兵部尚书；嘉靖四十一年十一月被捕入狱，次年革职还乡；嘉靖四十四年三月被再问罪，同年十一月初三死于狱中，终年五十四岁。隆庆六年，得以平反昭雪，并录平倭功入国史；万历十七年，赐葬故里天马山，追谥‘襄懋’。余姚邑人感其恩绩，勒石刻像，香火祭之。
往西数步，有济公和弥勒像。济公是罗汉的世俗化和民间化的体现。佛教向来注重形象，佛、菩萨都是相貌庄严。济公却形貌丑陋，带个酒葫芦，拿把蒲扇，面黄如蜡、骨瘦如柴、衣衫褴褛、落魄邋遢，完全一副街头疯癫乞丐模样，还与贩夫走卒打成一片。弥勒佛雕像凿于民国甲戍年，即民国二十三年，1934年。
弥勒像侧，有先总理孙中山说佛石刻（有缺字）。
（一）：先总理说佛教为救世之仁。
（二）：天下事坏於懒与
。
（三）：无心者明，无我者公。
（四）：酒色为伤身败德之本，嫖赌为事业失败之因。
（五）：少杀生命，最可养心、最可惜福；一般皮肉，一般痛苦物，但不能言耳。
据传旧时还有孙中山、蒋介石头像及孙中山的《总理遗嘱》全文，近年来因采石放炮，已然毁去，原先众多幽深莫测石孔，也被砾石填塞，滴水难蓄，殊为可惜！
济公像边一上尊是明代人像，应该是与辩经罗汉上侧的人像同时期的。
最顶上，是观音阁。实则应该是原来的胡公殿所在。该摩崖石刻位于胡公岩上端凸出的岩石上，为胜归山摩崖石刻最早雕凿地，始凿于明嘉靖三十四年（1555）。原先造像的雕凿为胡宗宪像，不知何时毁圯，现在又换成观音大士像。前凸的岩石上刻有‘胡公岩’三个大字，两旁镌边款‘大明嘉靖乙卯岁孟春吉旦·赐进士知余姚县巴郡李伯生’字样。两侧崖壁上圆拱形龛中分别刻有两童子，重塑了头部，成为善财童子和龙女的造像。
