三日后一早，有四个衙役带着沈穆之上了一辆马车，没有给他上枷锁。不久他们到了河渡口，换乘了摇橹船。
船行约一个时辰以后，只见水面逐渐开阔，风帆隐隐，水鸟翔集，沈穆之觉得似乎行至了太湖。
午后小船靠岸，差役们又带着他步行走了不少路，日落之前，来到一处湖边，依旧坐船朝湖心岛进发。
沈穆之忍不住问道：“差大哥，咱们这是在哪里？”
有个略和善的差役道：“这里是洞庭西山，此处湖心岛上有个采石场，咱们正是要去采石场。”
沈穆之暗道自己应该能活命了，费了许多周折，把他弄到采石场，多半不要他性命。
此处原来是洞庭西山，他千里迢迢，就为的要到洞庭西山投亲，想不到自己会以囚徒的身份来到西山。
四个衙役把沈穆之交给采石场的差役就走了，没有人来盘问他甚么，差役发给他一身号衣，一双蒲鞋，领他去指定的号房。
号房里已经有了一个人，是个威风凛凛的大汉，赤脚睡在柴草堆上，这大汉不说话，也不欺凌沈穆之，沈穆之靠在角落里缩了一宿。
第二天清早，差役们驱赶着号房里的犯人们去采石场干活，采石场里管理不太严，大概是孤岛四面环水，没有船出入，很难泅渡到对岸。
沈穆之发现，他与同号的那个大汉是被优待的，没有差役盯着他们去凿石掏方搬运，他跟在众人后面出点力就行了。
浑浑噩噩过了一两个月，岛上条件虽然艰苦，沈穆之因为有之前逃难流离失所的经历，竟也忍受了下来。
转眼岁聿其莫，一日差役们将他和同号的大汉叫起来，说柳府尊来了岛上，要提审他们。
那大汉先进去，隔了很久才出来，垂着头，面无表情。
接着是提审沈穆之，柳府尊仍是远远地坐在堂前，许久未有的惊惶又压迫着沈穆之。
良久，柳府尊冷冷问道：“赤脚刘大跟你说过甚么吗？”
“赤脚刘大？哦？”沈穆之听到这个陌生的名字楞了一下，随即猜到就是指同号的大汉：“他，从未与我说过话。”
“哦。”柳府尊与左右耳语一番，回头对沈穆之说：“赤脚刘大要是同你说话，你就牢牢记着。”
说罢拂袖离开。
如此一连三年，年底之时柳府尊就来提审他们一次，看样子，并未得到满意的答案。
岛上差役对沈穆之的管束更松，他有时漫山遍野乱跑，晚上也只能回到采石场。没有食物和水，进出岛屿的船只，他是逃不出去的。