第二日，钱渊就启程南下，当日抵达天台县、

五月十二日，钱渊抵达临海县。

从五月十二日之后，钱渊的活动轨迹只在台州境内，胡宗宪几次派人相邀，甚至王寅、沈明臣、何心隐诸位好友来访，钱渊也闭门不纳。

也是从那日开始，以护卫为信使，钱渊坐镇临海，与谭纶、戚继光、戚继美、卢斌等部保持每日联系。

五月十七日，钱渊于临海县外拜祭阵亡护卫，唐顺之撰写碑文，卢斌、谭纶均亲至拜祭，侯继高做诗以纪，台州大户出资修建忠烈祠，短短三日，无数百姓拜祭，香火茂盛。

也就是这一日，在嵊县、上虞一带绞杀残留倭寇的浙江副总兵戚继光突然率军向东，沿姚江返回宁波。

胡宗宪为此大怒，派出信使责问……但戚继光振振有词，已调俞大猷所部在绍兴府追剿残倭，浙东参将刘显、浙西参将汤克宽都在，绍兴府已无用武之地，而小股倭寇侵袭宁波府，慈溪县十余百姓被杀！

这个理由……说的过去，但也说不过去，因为，胡宗宪身为浙直总督，调拨兵力是他权力范围之内的事，但戚继光驻地本是宁波府，有倭寇来袭，而绍兴府已无战事，率兵回援也算在情理之中。

胡宗宪心知肚明，自己试图再次于绍兴府设伏，一举拿下汪直……而钱渊是决计不肯的，对于汪直，他有着其他的打算，为此连曾经并肩作战的何心隐来访都不肯一见。

胡宗宪先后派出信使、幕僚拜访谭纶、卢斌、侯继高、戚继美，试图聚拢兵力于绍兴府，但谭纶以台州亦临海为由回绝，卢斌、戚继美都是钱渊铁杆……每日来往信件中，钱渊摆出态度，有人撑腰的卢斌、戚继美含糊其辞，至今还在台州。

在这种情况下，钱渊釜底抽薪，直接让戚继光率兵回了宁波……胡宗宪这下彻底抓瞎了，虽然俞大猷、戚继光如今齐名，但戚继光于上虞三刻钟击溃徐海的一幕给胡宗宪留下了太深的印象。

没了戚继光，面对势力比徐海更加庞大的汪直，仅仅靠俞大猷，胡宗宪没有哪怕一丝一毫的胜算。