但是，至正二十三年（1363），陈友谅将张定边陷饶州；张士诚将吕珍破安丰，杀刘福通；陈友谅又大举兵围洪都。
就在此战事节节吃紧的紧要关头，谢再兴却率部叛降了张士诚！
朱元璋听到这个消息，几乎气得昏了过去。
谢再兴为什么会率部叛降了曾经的敌人张士诚呢？
时在李文忠军中为幕僚的刘辰著有《国初事迹》，交待了谢再兴叛逃的前因后果。
原来，谢再兴的心腹左总管、糜万户两人，曾挟带违禁物品私下里到张士诚辖区扬州易卖，朱元璋恐泄国事，拘拿了此二人，杀之，以首悬于谢再兴厅上。再命令谢再兴回京听宣谕。另遣参军李梦庚往诸暨节制军马。回到应天，谢再兴发现自己的小女儿被朱元璋自作主张许配给了右丞相徐达，心中非常不高兴。经过一番调查，朱元璋发现左总管、糜万户私易违禁物品事与谢再兴无关，也就让谢再兴重回诸全州，听从李梦庚的调遣。谢再兴回到诸暨之后，愤于自己无权无势，口出怨言说：“女嫁不教我知，有同拉郎配。又着我听人节制。”一怒之下，伙同知府栾凤，就地执拿了李梦庚，，率领元帅王玉、陈刚，以诸暨全城的兵马，前往绍兴投降张士诚。
谢再兴投降了张士诚后，又多次引军前来攻打诸暨，最后，在攻打诸全新城时，全军覆没，其本人下落不明。
谢再兴败亡之后，其弟谢三、谢五与子侄尚在余杭。
至正二十六年（1366），李文忠率兵围城，宣谕他们投降。
谢五在城上拜见而说：“保得我性命便出降。”
李文忠指天发誓说：“我是总兵官，不得杀你。”
谢五于是开城出降。
远在应天的朱元璋听说谢五等人已降，迫不及待派人取他们赴京。
李文忠清楚朱元璋的性格，心知不妙，上奏说：“恐失信于人，后无肯降者。”
朱元璋的回答却是：“谢再兴是我亲家，反背我降张士诚，情不可恕。”
果然，谢五等人到了应天，就被凌迟碎割处死了。
由此可知朱元璋对谢再兴叛逃降敌之事恨到了极点。
