前文曾经说过，胡文霆在初到回隆镇的时候，因为各种新建筑需要花费一定的时间才能建成，因此他在把原来的漕运所官署，进行了一番修缮之后，就暂时把它作为了自己的办公场所兼住处。
后来，随着各种新建筑落成之后，胡文霆又因为忙于各项事务，一时间也就没来及安排搬迁事宜，后来，胡文霆更是跑到苏州那边拓展新业务去了，而剩下林巧等人也不便私自作主进行搬迁，因此，到目前为止，林巧等人还是居住在里漕运所官署里面。
在胡文霆决定在回隆镇新开一家有一定规模，并且还比较上档次的客栈之后，就把主意打到漕运所官署头上，胡文霆打算对它再进行一番装修之后，暂时作为新客栈的营业场所。等到过一段时间，自己手头的资金比较宽裕之后，再考虑建一处全新格局的客栈。
而要让那些工匠能按照自己的设想，把官署改造成一家客栈，胡文霆就不得不派人，把蒯家的那两名技术大牛给找了过来。
由于这蒯家两兄弟已经同胡文霆进行过多次合作，因此，在胡文霆把自己关于新客栈的一些想法说了出来，这两兄弟很快就把握住了其中的精髓，然后，他们就毫不客气的当着胡文霆的面，开始按照自己的理解，把画起各种结构草图给来。
以蒯家两兄弟的技术水平，只用了不到一上午的时间，就把胡文霆的想法给具体的在图纸上呈现出来，胡文霆除了对很少的几处地方，稍微提出了一些意见之外，对两兄弟的各项设计都非常的满意，甚至在有些细节处理方面，还可以说是远远超出了自己的预期。
当胡文霆问及蒯家两兄弟，说按照他们画出来的图纸，完成客栈的改造工程大概需要多长时间的时候，蒯家两兄弟表示，目前回隆镇这边人手非常充足，如果加班加点干的话，大概只需要十天半个月的时间，就能完成所有的改造工程，春节前肯定能投入营业。
在确定好客栈的改造方案之后，接下来就基本没胡文霆什么事了。技术方面，蒯家两兄弟完全可以全面负责起来，而人员协调方面，林巧他们也可以一手操办下来。
在此之后，实际上胡文霆完全是可以离开回隆镇，回苏州那边去继续抓新城区的建设工作的。但是，在他的内心深处，却有一个很大的疙瘩，始终难以化解掉。那就是他还在犹豫着，自己到底该不该向官军提供一些信息，以便他们能在河南境内解决农民军问题。
他最初是想找毕懋康老爷子来商量一下这个问题的，但是根据史料上对他的描述，这可是一位不折不扣的忠君之人呐。比如，他在被罢官之后，仍然毫无怨言的花了数年的时间，最终把《军器图说》这本书给编撰完成，并上交给了朝廷，他对大明的忠心程度，由此可见一斑。