王阳明故居地处余姚城区传统历史街区武胜门路西侧，阳明东路以北。坐北朝南，平面呈长方形，在建筑设计和营造上反映出明代浙东官宦建筑的一些典型特点，用材粗壮、气势恢宏，各幢建筑结构严谨，按中轴线对称分布，主次建筑分布有序，饰件素雅。整个故居既给人以庭院深深之感，又不失端庄和典雅之气度。故居建筑自南至北沿中轴线分别为门厅、轿厅、砖雕门楼、大厅及瑞云楼、后罩屋。
王阳明故居的主体建筑——瑞云楼为重檐硬山、五间二弄的二层木结构楼房，建筑面积达到 532.56 平方米 。楼下明间檐下悬有史树青 先生题写的“瑞云楼”匾，明间前檐柱的楹联为“立德立功立言真三不朽，明理明知明教乃万人师”，内檐柱的檐联为“曾将大学垂名教，尚有高楼揭瑞云。”
瑞云楼是王阳明父亲王华考中状元前租自莫氏。明成化八年，王阳明诞生时，他祖母梦见神仙瑞云送子的佳话，遂将此楼称之为瑞云楼。王阳明在此楼度过了他的童年生活，待王华任职京师，即择地龙山里第构筑新居，此楼又租给钱氏。至弘治九年（ 1496 ），王阳明的得意门生、大儒钱德洪亦降生于此楼，实乃历史之巧合。待王阳明贵显，每当回姚，必指点楼中藏胎衣处，顾念到母亲和祖母，因自己军务繁忙，对母、祖不得生养死殓，每每引起长时间的痛苦。
此楼主体后在清乾隆年间被焚毁，而仪门、正厅等四周建筑基本完整，火烧场遗址一直保存至今。 2020 年由市政府拨款，在火烧场遗址上借用别处拆迁的明代建筑原材料，仍按明代风格，参照故文献《瑞云楼记》所述原样在原址修建。楼下现布置有《王阳明史迹陈列》展，展示了 王阳明 先生生平所至的各地遗迹图片，先生留下的诗文名篇及部分实物资料，系统介绍了 王阳明 先生一生的业绩成就，诠释了阳明学说对日本等海外诸国的深远影响。楼上辟为王阳明及其家人居室的复原陈列。
王阳明故居于2020年3月16 日由 浙江省人民政府于 公布为省级文物保护单位。
余姚有关部门已经制定《王阳明故居修复方案》，今年已动工全面修复故居建筑，恢复历史风貌，必将使故居的风貌得以完整展现。
2020年月与绍兴的王守仁墓被国务院合并公布为第六批全国重点文物保护单位。