南朝宋元嘉三年（426 年），重建巴陵城楼，楼由军事设施转变为观赏楼，其功能和性质发生了重要变化，开始成为人们观赏风景的场所。
中书侍郎、大诗人颜延之路经巴陵，作《始安郡还都与张湘州登巴陵城楼作》诗，诗中有“清氛霁岳阳”之句，“岳阳”之名首次见于诗文。
唐贞观年间（627 年~649 年），重修岳阳古城楼，楼阁初具规模。
开元四年（716 年），中书令张说再次扩建，取名南楼，后于天宝年间（742 年~756 年）重修。
乾元二年（759 年），诗仙李白在诗中首称南楼为岳阳楼，此后该名称被沿用。唐朝时期，岳阳楼成为文人墨客游历、题诗的胜地，许多着名诗人如孟浩然、李白、杜甫等都曾登临岳阳楼，并留下了不朽的诗篇，这使得岳阳楼的名气逐渐增大。
如李白的“楼观岳阳尽，川迥洞庭开”、杜甫的“吴楚东南坼，乾坤日夜浮”等诗句，都生动地描绘了岳阳楼的壮丽景色。
北宋庆历五年（1045 年），知州滕宗谅重修岳阳楼，并拟修筑偃虹堤。滕子京被贬至岳州后，励精图治，仅用一年就将岳州治理得政通人和、百废俱兴，于是决定重修岳阳楼。
庆历六年（1046 年）九月十五日，范仲淹写下《岳阳楼记》。
滕子京邀请范仲淹为岳阳楼作记，范仲淹的《岳阳楼记》全文 360 余字，内容博大，哲理精深，气势磅礴，文中“先天下之忧而忧，后天下之乐而乐”的核心思想流传至今。从此楼以文名、文以楼传，文楼并重于天下，岳阳楼也因此真正闻名天下。
元至元年间（1264 年~1294 年），岳州路总管李应春重修岳阳楼。此后，岳阳楼在元代也多次经历修缮和维护。
明清时期，岳阳楼更是多次因大火、战乱等原因被毁，但也不断地被重建和修复。例如，明洪武二年（1369 年），将军徐达巡视岳州，重修岳阳楼；清乾隆五年（1740 年），总督班第重建岳阳楼等。
民国初年，岳阳楼屡遭兵祸，受损严重。1920 年，岳阳知县鲁荡平主持重修岳阳楼；1933 年，湖南省政府拨款重新修葺；1934 年 2 月 17 日，岳阳楼重修竣工。