1984年以前，胡耀邦一家仍住在曾经的团中央宿舍，北京东城富强胡同6号，胡耀邦也仍住在那间1976年唐山地震被震斜东墙的旧卧室。早在1979年任职中央秘书长时，中办就希望胡耀邦一家搬到中南海去，但是他认为一旦搬进去了，以前的老朋友、老百姓要见他就不那么容易了。后来出于安保工作的考虑，实在不搬不行。胡耀邦才交代中办的同志说：“一定要搬的话，搬进去的房子一不要好，二不要大，只要离中南海近，工作方便就行了。
   
        于是1984年，中办在中南海外面找了一处房子：会计司胡同25号，这里原本是中央警卫团的营、团职干部宿舍。房子的正门开在北长街会计司胡同里，后墙就是中南海的东墙。为了方便胡耀邦办公，在墙上开了扇侧门。所以胡耀邦觉得这个房子虽然地方不大，但一边连通着街道，一边通往中南海，既方便客人来访，又方便去中南海办公，就同意了。当时这所四合院年久失修，时任中办副主任杨德忠和北京市副市长张百发曾拿着大修方案请胡耀邦提意见，胡耀邦通过李汉平秘书转告他们：我们岁数都这么大了，还能住几年？就这样，不要搞什么了。要修，等以后老百姓都有了房子再修。

        搬进中南海东墙边的住所后，胡耀邦也只在每周六晚上回家与家人吃一顿饭，住一晚上。其余时间除了出访、出差，吃住都在办公地点勤政殿。他在当总书记那几年，勤政殿常常灯火通明，工作人员劝他注意休息，他说：为人民办事，耽误一分钟都是罪过！胡耀邦家中的书架高达房顶，摆满了整整两面墙，摆不下了放在过道旁，行走都困难。书架上各种类型书籍、杂志令人惊叹。尤其是对马列主义和毛泽东思想的学习，贯穿了他的一生。《毛选》四卷就读过15遍。翻开他读过的书，总是能看到密密麻麻的笔记、眉批等。解放战争时期胡耀邦的警卫员曾回忆：胡耀邦在战争年代不管多么紧张，只要有点空闲，总是想方设法找东西看。行军带着书，骑在马背上看，宿营休息煤油灯下还看。每打下一个地方，每解放一座城市，他都要找书看，历史、地理、地方志都看，实在没有书抓本皇历也能看半天。他刻苦读书的习惯保持了一辈子。1987年1月辞去总书记职务到1989年4月去世前的两年零三个月里，胡耀邦重读了《马恩全集》，并写下了42本读书笔记。可见，胡耀邦充满智慧的思想和讲话正是建立在博览群书基础上的。胡耀邦的文章和讲话稿多是自己动手，即使有人写稿，他也是自己定题目，自己写提纲，用什么材料，讲什么观点，甚至关键处用什么文字与事例等，他都要交待清清楚楚。他曾同团中央部长以上干部谈话时讲：十几年，二十几年来，我们有一部分干部是秘书写稿子，首长念稿子，秘书决定方针政策，首长处理日常事务。这个风气怎么行！

        当时，胡耀邦不仅不同意搬进中南海，他还主张开放中南海与天安门城楼。1981年初春，胡耀邦带家人在中南海参观时就说；中南海应该向公众开放，不要搞得那么神秘。每周开放两次，组织好了不会影响工作和生活。1981年5月，中南海，这个一直被视为政治的禁区和神秘之地，对社会开放了。但随着胡耀邦的逝世，中南海的开放也划上了句号。