事情到这里本来是件好事，科道官不知是不是以为皇帝妥协，受到了鼓舞，于是又上疏道：“臣等所奏，本意乃不累圣德。其余三府亦可罢免，宫中织染局可出示袍服花样，陛下令巡抚、巡按、三司官员按照样式织造后上呈，不必麻烦内臣监督而又无法交差。”
朱厚照看后心中不由的火冒三丈，这三府说什么也不能丢，训斥、警示内官都可，但是不能撤，一旦裁撤，想要恢复就麻烦了，于是留中不报。
但是这种既不赞成也不反对的态度显露出来，科道见此更是积极非常，接连上疏要求罢免织造。
朱厚照不得不御批解释：“织造本是国朝事例，原有旧制，且留三府织造乃是为了两宫进用及朕常用袍服，朕撰写敕书已经告诉他们不要扰民，地方有抚、按官，发现不法也可奏来，莫要具扰执拗。”
众臣知道后，很快除六部九卿外，六科给事中、十三道御史等，再次纷纷上疏，陈其不可。
朱厚照不得已叫来杨廷和亲来谈。
暖阁里朱厚照再次向杨廷和阐明自己的想法后，杨廷和起身奏道：“启奏陛下，陛下为苏民困，已召回两府织造，天下称颂圣德不已，何不趁热打铁，将苏、杭、应天织造皆免，以示陛下之决心？”
朱厚照闻言心中不由的一怒，但是还是压着火，缓缓道：“这事比救灾还急吗？”
杨廷和一愣，躬身道：“启奏陛下，臣等看得南直隶之地，苏州、松江等府，浙江的杭州绍兴、湖州等府，自今年四月以后，先是大旱，入秋以来，又是大雨不止，旱涝相继发生，灾害非常，委的地方衙门十分狼狈，钱粮尚不能办纳，还要奏求蠲免，且年关将至，就要准备来年新的袍服，一应物料工匠，地方衙门又何从出办拨给，臣恐逼迫百姓逃亡，激成他变，而且臣闻淮、扬等府，水患非常，高低远近，一望皆水，军民的房屋田土，尽被淹没，百里之内，竟看不见寂无一炊一烟，却只见满地白骨成堆，可见百姓流徙之途中而死亡，能活下来而入城的幼男稚女，也是称斤而卖，十余岁者，却得铜钱三十余文，就这还数日卖而不得，父先死，母子相视痛哭，不得活，只得投水而死。且到麦熟之时，还有数月，各地各府之饥民，又岂能坐以待毙，到时势必将群起而为盗贼，掠夺地方，难道又要让京营听征，只是如此不知何日始才能剿平，又要耗费多少钱粮来，时势难料，臣等职叨辅导，实切惊惧，陛下，地方奏报不是臣一人所见，满朝文武谁人不知？仁者爱人，伏望陛下体天爱民。”
朱厚照闻言听的心中也不大