观音阁坐落在襄阳城南4公里外的岘山临江处。它东临汉江，与鹿门山隔江眺望，南迎涧南园（孟浩然园），西依习家池，北靠岘首山。观音阁最初修建时，因修建人梦见有凤凰在此冲天而飞，被名为凤林关。后香火日盛，南海大观音菩萨仙游来此传经，被人们称为观音阁。因而，观音阁也称凤林关。
据史记载，凤林关——也就是观音阁，始建于东晋时期，距今已有1700年的历史了。因地理位置独特，风景宜人，自古便是文人墨客登临聚会之处。欧阳修、李白、杜甫、孟浩然、皮日休等曾在此留有千古名句。唐玄宗天宝十四年(755年)，身兼平卢、范阳、河东三镇节度使的安禄山，以讨杨国忠为名，从范阳起兵反唐，史称安史之乱。为表彰平息“安史之乱”有功的唐代名将来王真，特在此为其立有记事碑一块。碑高2.32米，宽0.85米，虽因年久被风雨剥蚀，碑文已无法辨认，但阴刻碑额“副总戊来将军去思碑”几字，仍清晰可见。一千多年过去了，此碑是襄阳市保存年代最久远的古碑之一，佐证了历史的重要一段。因而“去思碑”尤显弥足珍贵。
观音阁始建于东晋年间。据传，有一江洋大盗，窜至汉江上游某地，盗得一个为富不仁的大户人家不少金银财宝。不料被人发现，慌乱中躲进一寺庙里的菩萨像身后。说来也怪，追捕者进得寺庙搜索，来回从大盗面前晃过，居然没被发现。待追捕者离去，江洋大盗想自己没被发现，莫不是菩萨庇护？便滚下佛座，跪地磕头。许是进得寺庙时，因慌乱不曾细瞧，江洋大盗磕了三个头后，见菩萨全身金光，再仔细一摸，方知面前这尊菩萨像是全金而做，贼心不改的他，看看四周无人，将金菩萨装进麻袋，连同盗来的金银财宝弄到早已备好的船上，顺江而溜。
江洋大盗打算到了襄阳后，上岸将金菩萨脱了手再离去。哪知来到襄阳，一看江边帆船绰绰，卸货的，装船的，喊号子的，人声鼎沸，车水马龙，尤其是那持械在江面来回巡视的官船，到底做贼心虚，他不敢靠岸，只好沿江飘去。
汉江依西而来，环襄阳城而南去。此贼掌船行到襄阳城南的岘山脚下时，因是第一次走这条水道，再者慌不择路，不知此处险滩重重，船被旋流缠住，他使出了全身劲儿，仍在原处旋转。此贼常年行水路，倒是有些常识，情急之下，他将重物全挪到船一边，然后借助人力，使船呈倾斜状，便可脱离险境。这在行业内叫“跑船帮”。哪知天不遂人愿，就在半边船身离开水面的瞬间，一股巨浪打来，将船掀翻。昏迷中，江洋大盗觉得似乎有只无形的手托着自己到了岸边。睁眼一看，一袭白衣的菩萨乘着云朵正缓缓飘向远处。盗贼想想前些日在寺庙里躲避被人追捕的情形，再回眼前的沉船脱险，顿时幡然醒悟，跪地恸哭，痛斥自己的非为。他决定不走了，立誓要在此处修庙建宇，忏悔终生。