李白一生到九江来了五次，总共写了二十多首有关九江和庐山的诗。李白与九江（当时称江州）有很深的情缘，总共在九江住了两年半时间，不仅在九江隐居，而且在九江坐过牢，夫人宗氏还在九江出家。
26岁李白第一次到江州游庐山是在唐开元十四年（公元726）。他出四川，沿长江而下，来到江州，一是看望在江州做生意的兄长，二是游览庐山。唐代的江州其实辖境不大，一共只有浔阳（附郭县）、彭泽、都昌三个县，全州居民2.9万户，只能算是中等州。
“庐山”这个名字，最早见于西汉司马迁的《史记·河渠书》里的“余南登庐山，观禹疏九江”一句。但太史公只是记载了“庐山”之名，却对其来历不置一词。这或许表明在西汉时期，庐山已是一座众所周知的名山，所以司马迁在记叙时，直接称呼而没有另加解释。传说周代有匡氏兄弟七人上山修道，结庐为舍，因名庐山，又称匡山、匡庐。而司马迁之后几百年后的北魏郦道元在《水经注》里也给了一个说法，“庐江出三天子都，入江彭泽西，是曰庐江之名，山水相依，互举殊称”，认为庐山地处浔阳，古为庐江郡属地，故以庐江而得名。这段话有理有据，或许也是庐山名字的另一种权威解释吧。
庐山的美景吸引了许多文人骚客。东晋时期，中国山水诗派的开创者谢灵运就在此留下了《登庐山绝顶望诸峤》：“山行非有期，弥远不能辍。但欲淹昏旦，遂复经圆缺。积峡忽复启，平途俄已绝。峦垅有合沓，往来无踪辙。昼夜蔽日月，冬夏共霜雪。”与李白同一时期的诗人孟浩然也留诗《晚泊浔阳望香炉峰》，其中有写道：“尝读远公传，永怀尘外踪。东林精舍近，日暮空闻钟。”诗中所提到的东林精舍即是中国最早的寺庙园林——净土宗创始人、高僧慧远于公元391年创建的东林寺。
公元427年陶渊明逝世后，亲朋私谥“靖节”，葬于庐山面阳山之北。他的高风亮节、名士风流以及“采菊东篱下，悠然见南山”之类的田园诗风采，都受到后世的推崇，也令庐山更加天下闻名。如此庐山的吸引力是李白无法抗拒的。就像范传正在《唐左拾遗翰要学士李公新墓碑并序》所说的那样，李太白平生“偶乘扁舟，一日千里。或遇胜景，终年不移”，游历了很多名山大川，庐山就是李白喜欢登临并咏叹的山川之一。
开元十四年李白第一次登上庐山香炉峰时，眼见山上绮丽的风光，幽雅的环境，宜人的气候而心醉神怡。庐山之内其实有三座香炉峰，一处在山之西北，一处在东北，一处在东南。西北与东北的那两座香炉峰均无瀑布，只有山南的那座，也就是现在秀峰寺后，这里才有瀑布。
面对雄伟壮观的庐山瀑布，李白写下了《望庐山瀑布》诗二首。其中第一首最为脍炙人口，诗云：
日照香炉生紫烟，遥看瀑布挂前川。
飞流直下三千尺，疑是银河落九天。
庐山绮丽的风光、幽静的环境，令李白心醉神怡。但他满怀壮志，“以苍生”、“安社稷”为己任，他未贪恋自然景色，就匆匆下山，乘船前往扬州、金陵。李白第一次游江州庐山的时间虽然不长，但庐山的风光却给他留下了美好的印象，这正是他日后多次来江州的原因之一。