于是，苏刘义、张定国和一些地方武将抱起团来，抵制文祥的提议。同时，关于北元将派一个大宋丞相级别的要员来，暗中招降各路英雄的流言，也在军中广为流传。几股势力数番权衡与较量之后，陈宜中丞相选择了与大伙妥协，放弃了北上两浙的打算。并且采用分兵的办法，把文祥架空起来，给了他一个大都督的头衔，让他自己去募壮士入赣。
献了奇策的文祥两头不讨好，成了一个弃子。他愤而领命，决定自组军队北伐。这，正就是破虏军的前身，文部义军的开始。
此后，文祥在南剑州开幕，招下豪杰勤王。凭着他出使北元，面斥伯颜的义举，和大宋状元的声名，很快招到了数万民军。旋即，文祥横扫南剑、汀州和邵武，收复福建北方大部分城市，接着带兵席卷赣南，兵临赣州城下。直到最后，因兵力不足，被李恒集大军击败，率残部遁入百丈岭。
当年，震动整个江南的江南西路会战以文祥全军覆没而结束。整个过程中，作为掌握行朝二十万兵马的大都督张世杰，没一兵一卒相援。
“同殿称臣，哼，依我之见，他文祥的黄袍都裁好了，就等着有人主动给他披上的机会呢！”苏刘义冷笑一声，口无遮拦，骂文祥的同时，把本朝太祖也捎带上了。
连绵的阴雨，让他感到心烦。外边接连不断传来的，破虏军胜利的消息，又让他感到有些嫉妒。在他心目中，文祥不过是一个光会大话的书呆子，无论用兵能力和临敌应变能力，都照江淮军中诸将相去很远。可偏偏这种人运气好，能拣到书，造出这么多神兵利器来。也偏偏是这种人，明明不会打仗，却连老都帮他，把整个两浙空出来，由着他的性子练手。
“子义啊，牢骚太盛防肠断。打仗就打仗好了，争那么多虚名有什么用。况且，当年我们所作所为，的确太过分了一些！”张世杰用大手拍拍苏刘义的肩膀，长叹着安慰。
内心深处，对文祥取得的成就，张世杰也觉得有些不平衡。但与部将们不同的是，作为大都督，他必须要把国事放在第一位上。此外，从战略角度上讲，在北元大兵压境时出兵两浙，也是解开眼前困局的一招好棋。
“当年，当年他有现在的一半本事么？”苏刘义不服气地强辩道。
杜浒、张唐、林琦，还有作为新附军俘虏，却在破虏军中当得大任的李兴，与当年的苏刘义等人比起来，哪个不是无名卒？杜浒是个司农卿，不折不扣的文职。张唐是个地方大户，除了有把子种庄稼的力气外，连军阵都没见过。林琦好一些，是个文武双全的进士。但也只是拎着刀乱舞的雏儿，行军、布阵、寻找战机，哪一项都不得要领。
而现在，他们却创造了一个又一个奇迹，把名字写进了传。
“过去种种，都是昨日黄花，咱们且不去提。且把眼光长远，看将来吧！”听属下到用兵能力，张世杰低声道。像是与苏刘义商量，又像是自言自语，“等把北元兵马打退了，我会亲自去福州一趟，与文丞相商量一下整军的事。破虏军、江淮军、兴宋军，还有大地方诸侯，这么分下去，总之不是办法。如果文丞相能不计前嫌，我不在乎学一学陈吊眼，把江淮军也交到他的麾下！”
从赣南、邵武、泉州到两浙，大伙不得不承认，文祥的用兵能力在进步着，并且，每一步的进境都巨大。
如果当年在一起时，文祥能表现出这么强的用兵能力来，张世杰大都督真未必是气之人，牢牢地把握着军权不肯分兵与之。