阅江楼位于肇庆城区，南临西江，始建于明代，占地面积8100平方米。历史上曾为鹄奔亭，南宋隆兴年间(1163—1164年)改建为纪念唐代高僧石头和尚陈希迁的石头庵，明宣德六年(1432年)扩建为崧台书院，嘉靖二十五(1546年)，增建北楼以及东西两廊和号舍。崇祯十四年(1641年)命名为“阅江楼”。
明末清初之际，该楼一度圮毁。顺治十四年(1657年)重建，十五年(1658年)秋建成，至此，阅江楼基本形成现有格局。康熙八年(1669年)、四十八年(1709年)及嘉庆二十一年(1816年)，曾先后进行修缮。抗战期间，该楼屡遭日机轰炸，后楼、西楼破坏尤为严重，1959年和1971年先后重修。
阅江楼筑于高约8米的山岗上，坐北向南，为典型的广东四合院式古建筑。楼高2层，南楼高13.9米，北楼高12.9米，东、西两楼高均为12.5米，4座楼通过4座耳楼衔接连通。南北两楼为歇山顶，屋脊上均有鳌鱼宝珠，东西两楼为券篷顶。庭院面积248平方米，内植米兰，已有300余年数龄，并设水池、假山，清幽雅静。南门前置石阶，石阶宽阔。阶下置石狮1对。北楼地下大厅有清康熙时两广总督郭世隆所立的康熙御书碑5块(其中l块毁于日寇轰炸)。南楼檐下，悬挂两广总督劳崇光所书的“阅江楼”木匾和朱德元帅题写的“独立团团部旧址”匾额。
阅江楼历为书院和文人墨客的吟咏之所，又曾为军事重地。南明永历帝，中法战争主战派彭玉麟、大革命时期的高要农民自卫军以及叶挺独立团等都曾在此指挥军事，训练队伍。现为肇庆市博物馆和叶挺独立团团部旧址纪念馆所在地，馆内设《端砚春秋》陈列和《铁军独立一雄团》陈列。
1962年被公布为广东省重点文物保护单位。