徐霞客最后一次出游是在五十一岁，由赣入湘，从攸县进入今衡东县境，历时55天，先后游历了今衡阳市所辖的衡东、衡山、南岳、衡阳、衡南、常宁、祁东、耒阳各县区，三进衡州府，饱览了衡州境内的秀美山水和人文大观，留下了描述衡州山川形胜、风土人情的余字的衡游日记。他对石鼓山和石鼓书院的详尽记述，为后人修复石鼓书院提供了珍贵的史料，这次他主要游历了中国的西南地区，一直到达中缅交界的腾越，到达腾越后，徐霞客不幸身患重病，终止游历被送回江阴老家。
徐霞客游历考察的三十多年间，在完全没有他人资助的情况下，先后四次进行了长距离的跋涉，足迹遍及相当于现代的江苏、浙江、山东、山西、陕西、河北、河南、安徽、江西、福建、广东、湖南、湖北、广西、贵州、云南和北京、天津、上海等21个省、市、自治区，足迹遍及大半个中国。更可贵的是，在三十多年的旅行考察中，他主要是靠徒步跋涉，连骑马乘船都很少，还经常自己背着行李赶路。他寻访的地方，多是荒凉的穷乡僻壤，或是人迹罕至的边疆地区，几次遇到生命危险，出生入死，尝尽了旅途的艰辛。
徐霞客在参观了白岳山后，来到了黄山，登临黄山时，曾对黄山的秀丽这样赞叹：“薄海内外之名山，无如徽之黄山。”后被当地人引申为“五岳归来不看山，黄山归来不看岳”。此后，徐霞客来到了福建省，开始了武夷山之行，这一年徐霞客进行的主要是短线游，如善卷洞和张公洞。这年，他的原配夫人去世。
徐霞客与亲友一起，溯长江而上，游览了庐山。此后，在这一年九月份，他再一次游览了黄山，路线与第一次大同小异。继续在邻近省份进行短线游，旅游的景点包括浙江省内的江郎山，福建省的九鲤湖和石竹山。徐霞客循运河北上，随后西行，进入河南，访问了少林寺和嵩山。随后，他又游览了龙门石窟。此后，徐霞客继续西游，来到了西岳华山，与登上华山后被吓哭的韩愈不同，徐霞客足足遍游了华山的五峰。此后，徐霞客又游览了峨眉山和武当山，在峨眉山，由于当地有人叛乱，导致“峨游不畅”。
由于自己的母亲已经八十高龄，徐霞客打算停止出游，侍奉母亲。不过母亲为了表示对他的支持，做出了一个惊人的举动，和儿子一起旅游。当然，这些景点基本限于徐霞客老家江苏省内，徐霞客的母亲去世，悲痛的徐霞客也暂时停止了自己的出游。在守孝三年期满后，徐霞客再次踏上征程，他游览了福建的金斗山和玉华洞，随后来到广东罗浮山，由运河北上，游览了盘山、崆峒山、碣石山等景区。