胡氏家庙位于中和集镇西岭孔家坪，距离胡耀邦故居不到1公里，始建于清朝中期，坐东北朝西南，砖木结构，封火墙，小青瓦，面阔五间，设前后两栋，占地面积758.91平方米，建筑面积565平方米，为当地胡氏族人祭祀祖先之所。家庙建筑空间形态、布局，建造选址、造型与工艺等方面都体现了较高的水平，尤以栋宇之间有过亭连接，亭内设八边形彩绘藻井，结构古朴、舒朗大方，集中体现了客家宗祠文化及清代建筑风貌，具有极高的历史、艺术价值。2013年3月5日与胡耀邦故居一起获评全国第七批全国重点文物保护单位。   
       胡氏家庙原名“建十公祠”，“建十公”即胡耀邦同志上十二代祖父胡允钦，明朝万历年间末期，胡允钦为了躲避战乱，带着家人从江西乐安县浯塘村搬迁到浏阳西岭，在此开始发家创业。到了胡育生、胡育澄这一代时，胡氏家族逐渐繁衍，便以祖屋作为胡氏公祠。胡氏先祖虽世代以农耕为业，但极其重视家族教育，培养出了一大批杰出后人，终成为浏阳望族。清朝时期时任湖北巡抚的谭继洵（谭嗣同的父亲）为胡允钦写下《一世建十公赞》。据胡氏族谱记载，胡氏后人中有官职者达二十余人，其中胡耀邦同志上四代祖父胡中泮为清朝咸丰年间的皇亲例授大学士，此时乃是整个胡氏家族最兴旺发达的时候。大革命时期胡氏家族的革命烈士有20人，为革命斗争事业抛头颅洒热血，献出了宝贵生命。
       清朝末期政府废科举、兴学堂，胡氏后人为了发展教育、培养人才，于西岭老屋家庙创建学堂，至此时起胡氏家庙就肩负起学堂的作用，为族人和当地村民培养出一代又一代优秀的人才。1922年，胡耀邦同志的堂叔父胡祖仪在胡氏家庙内创办新式学堂兴文小学，并担任学校的负责人和教师，这一年七岁的胡耀邦同志由种桃书屋转入兴文小学接受教育直至十一岁，留下了学习与成长的足迹。解放后，兴文小学更名为苍坊小学，并另择址建立苍坊小学，至此胡氏家庙结束了肩负教育的历史责任。2000年，胡氏族人捐资对其进行修葺，挂牌胡氏家庙，2017年，对胡氏家庙进行了本体修缮及周边环境整治。