1951年近代物理研究所全体人员，1954年初全部迁入原子能楼。前排左起：胡文琦、肖振熹、邓稼先、彭桓武、赵忠尧、钱三强、何泽慧、肖健、王素铭。中排左起：金建中、彭XX、毕先文、黄祖洽、蒋铮、李德平、陆祖荫、刘杰、叶铭汉、殷鹏程、许槑、忻贤杰。后排左起：叶恭先、XXX、XXX、周中治、白国良、李寿楠、卢竹轩、容霖汉、XXX、高义、王平、于敏、陈耕燕。

当时，此楼成为中关村科学城中的第一家研究机构，称为“中关村物理楼”。1958年，更名为“原子能研究所”，原子能楼由此得名。

中科院办公厅原副主任柳怀祖回忆说：“当时物理所是按照最好的标准建造，钢筋混凝土结构，地板是水磨地，质量非常好。唐山大地震时，北京地区很多建筑都有不同的受损，但是这座楼仍‘固若金汤’。”

大楼是中关村地区第一栋现代化的科研建筑，一共五层。西侧是静电加速器的大厅，有四层楼高，安装的是70万伏大气型质子静电加速器和250万伏高气型质子静电加速器。由于体量太大，在楼西侧还留下两层贯通的入口，并在楼顶特制三角顶板。大厅安装了起重吊车，吊车可以伸到大厅的外面，为的就是把250万伏高气型质子静电加速器的钢筒等设备运进楼内。该楼还建有半地下室，半地下室西边是库房，东边是工厂，搞机械加工。

70万伏的质子静电加速器是我国第一台粒子加速器，1958年被运往新建的中国科技大学供教学使用。而那台250万伏质子静电加速器至今还在这座楼中。