原本，神保长职还打算争取到辔田家的支持后，再前去攻打盘踞在天神山一带的越后上杉军。可没曾想，东新川郡重镇要地之一的鱼津城却被板屋家的笔头家老铃木国重献给越后上杉军。
此时，神保长职心里非常清楚，椎名家已经与越后上杉家再度恢复了联系，之后越后上杉军必然会以椎名势作为先导役，向越中一国的腹地进发。眼下已经失去了攻打松仓城的时机，若是继续顿兵于此，说不准还会招致旗下国人领主的背叛，不如早些率军返回富山城，依靠富山城周边的地势，说不准还能以此来拖垮越后上杉军。
就这样，神保长职选择了主动撤离。
面对士气如虹、声势浩大的越后上杉军，感到恐惧和茫然的绝不只是神保长职一个人。他本人固然可以选择对抗到底，但大多数越中的国人领主们却不愿陪着他一块玩完。
继鱼津城开城投降之后，大村城城主辔田雅正（越中五大将之一）、小出城城主唐人兵库正（武部兵库正）二人见势不妙，当即遣使向上杉清定献上誓书，并经海路给越后上杉军送去了五千石粮草。
与此同时，越后上杉军的各路军势也在行动着。
很快，作为越后上杉军三阵的市河赖房、北条高定两部就抵达了天神山，与先阵、次阵的柿崎景家、山本寺定长、桃井义孝、安田景元、村山直义等将合流；平田宗定、须田村定二人率越后水军众突袭了放生津，并讨取了守将之一的神保八郎左卫门；上杉清定率本队以及其余军势经宫崎城、南保城、馆城等地后进入若栗城，并在若栗城之中设置本阵。
至于辔田雅正、铃木国重、唐人兵库正等人的开城投降，清定也不对他们进行过多的追究，就当即向他们下发了本领安堵状，让他们得以保有目前的领地范围。
在清定看来，眼下最为重要的是先将神保家击败，只有重创了神保家，并让神保家再无复兴的可能，越后上杉家才能在越中一国站位脚跟。
眼见越后上杉军大军压境，神保家旗下的国人领主们很快就做出了他们人生之中最重大的一次抉择——献出城池兵砦，向越后上杉军投降。
天文九年，八月五日。
堀江城城主土肥政忠、佛生寺城城主细川兵部大辅入道、城生城城主斋藤利忠等东越中的有力国人领主见主动倒向越后上杉家的辔田雅正、铃木国重、唐人兵库正等人都获得了本领安堵后，他们也不再感到迷茫，纷纷也纷纷举城而降。
这一连串大规模的叛降行动对神保长职来说无疑是一个致命的打击。
因为它不但极大地削弱了神保家的势力，而且将神保家的势力范围肢解得七零八落，致使富山城东南方的池田城、南面的上熊野城和剩下来的其他城池兵砦皆被越后上杉军一块一块地分割包围，彼此道路阻断，消息隔绝，只能各自为战。