但没想到朝廷的命令下来，调李道古出任新的鄂岳观察使。
李道古是曹王的儿子，一个纨绔子弟，根本不懂得用兵。他从未经历过战场，连高霞寓都不如，只知道傲慢地说大话：“谁不知道淮西外表看起来强大，其实内部空虚，不久后看我出奇制胜，攻下申州。”
他自恃是皇族，进入安州后，竟然把柳公绰的不少家产据为己有，还诬陷李听作战不力，擅自免去了李听的职务，更把老疯头和付云起得来的情报看得一文不值。
付云起和老疯头非常失望。老疯头更是心灰意冷，愤怒地说：“不再理会这些无能的将领，我们去游山玩水吧。”
他带着付云起直接去了武昌，游览了黄鹤楼，然后向西转南下到朗州，说要隐居到桃花源去。付云起知道老疯头心里有气，想借游玩来发泄，就随他去了。
这时已经是六月底，桃花源虽然还在，但哪里还有桃花？于是他们放弃了去桃花源的打算。从这里向东是洞庭湖，岳阳是鄂岳观察使李道古的管辖地，老疯头生气，不想去那里，偏偏要向西走。
西面是武陵的高山险峻，是五溪的荒蛮之地，怎么去呢？但老疯头却说正好，付云起不便坚持，也就随他向西去了。
他们一直向西走，一路上连绵的高山阻挡了去路，非常难走。很多付云起过不去的地方，都是老疯头提着他飞过去的。在山里的日子，他们只能采集野果来吃。
付云起受伤的时候，曾经向孙山人学过一些草药知识，所以他挖了黄精、葳蕤，摘了木耳、猴头等，用这些来充饥。没想到这样也有好的一面，付云起每天爬山涉水，服用这些补充元气的东西，再加上老疯头的指导，他的内功和轻功都有了很大的进步。
这天，他们又爬上了一座大山，向西望去，看到几十里外的山峦层层叠叠，中间有一条大江，像一条绿色的带子。沿江有大大小小的村庄，太阳刚刚升起，景色美得像诗画一样。
从武昌向西走，一路上的风景让他们忍不住作诗相和，老疯头也趁这个机会指导付云起。到了这里，风景美得让人无法用言语形容，他们竟然都吟不出诗来。
他们走进了一个村庄，当地的民风非常淳朴，村民们非常热情好客，但是风俗和语言与他们大不相同，十句话中有九句听不懂。
村民们唱歌跳舞，用山里的猴儿酒来招待客人。老疯头很久没喝酒了，闻到酒香就已经很兴奋，喝了几杯后，他感到非常满足，很快就困了，想要睡觉。
当时，汉人把这些村民看作是野蛮的低等人，村民们自己也觉得自己不如别人。但付云起没有这种想法，他很有礼貌，虽然语言不通，但村民们把他当作自己人。