胡耀邦故居位于苍坊社区西岭山脚下，始建于清朝咸丰年间，房屋呈“凹”字形布局，坐北朝南，土木结构，小青瓦顶，属于典型的清末湘赣边界民居风格建筑。   
        故居座北朝南，由胡耀邦家与胡氏宗亲合住，东西对称，自中轴线以西为胡耀邦家，以东为胡氏宗亲住房。总占地面积约450平方米，共计19间，其中胡耀邦家9间半。东西面宽30.95米，南北进深18.98米。房屋结构为土木结构，悬山顶，盖小青瓦，用灰陶勾头滴水瓦剪边，墙体均为黄土、石灰、河沙拌合内加木筋的三合土夯筑而成。槽门为进入宅院的总门，外墙呈八字形，木柱架盖青瓦。槽门建于东厢房前，朝向东南。可由槽门进入院地坪。故居的平面布局为倒凹字形，即屋前由三方房屋围合出一块90平方米的地坪，东、西两面为照壁墙，墙头有彩绘和书法，彩绘和书法相间排列，彩绘内容为山水风景，书法内容为诗词，分楷、草、隶、篆四种字体书写；正厅大门上方有两个门簪，门簪上方自右至左书“泮公享堂”四个楷体大字（系当年胡耀邦的曾祖父胡名钟和哥哥胡名镜为祭祀父亲胡中泮而命名）。大门两侧竖写一幅对联，右为“祥钟淮海”，左为“秀毓苏湖”（喻胡氏的始祖居住地为江苏淮海一带）。大门下方两侧有两个普通抱鼓石。正厅西侧为胡耀邦家客房。客房西侧为小厅，小厅被木板间墙和隔扇一分为二，北面为火房，即冬季烤火、烧水的地方，南面为餐厅。正厅前有走廊，从走廊下三级台阶即是内地坪，通过走廊可进入东西横厅。东西横厅的西面和东面为天井，从天井南侧的木梯级可上到东西厢房的晒楼。西横厅北侧有房屋三间，由南向北依次为胡耀邦父母居室（即胡耀邦出生的房间）、胡耀邦兄嫂居室、厨房。南侧有客房一间，1963年元月胡耀邦回乡调查时即住在此房。