张须陀被隋炀帝的行为深深感动了，不杀他，是君臣情；开粮仓，是帝王节；重用他，是明事理。隋炀帝在张须陀眼里是有情、有节和有理的明君，他要报答皇帝的厚恩，只能洒出一腔热血，，为皇帝剿灭各地的反贼。张须陀以一个郡太守的武装，转战黄河南北，四处平叛，跟随张须陀的还有秦叔宝、罗士信等著名将军。
隋朝当时已经像个着火的森林，四处冒火苗，张须陀扮演救火队长的角色，哪里火大他就去哪里。王薄、郝孝德、裴长才、石子河、王良、郑大彪、李宛等等起义军全部被张须陀消灭。后来瓦岗军崛起，翟让跟张须陀打了三十多仗，几乎没有赢过。瓦岗军最恐惧的人就是张须陀。
后来，李密加入瓦岗军，建议翟让攻打洛口仓。翟让早被张须陀打怕了，不敢出兵。在李密反复劝说下，翟让终于出兵荥阳，张须陀率兵迎战，翟让恐惧，立刻退兵。张须陀继续进军，没想到却中了李密的埋伏，人马都被打散，陷入重围。张须陀戎马一生，原来曾有过领五骑被两万人包围又突围的壮举，李密的埋伏根本不算什么。他杀出包围，看到部下还在乱军中，于是返回战阵，不断将手下救出，这样来回好几次，包围的敌军越来越多，眼看无法再次突围，张须陀仰天长叹：兵败如此，何面见天子乎？于是下马力战而亡。得知他的死讯，被营救的部下全部痛哭流涕，整个官军连哭数日。
死者，士之所重；国者，君之所重。隋炀帝赦免了张须陀的死罪，用士之所重换来了张须陀的忠诚，而后者也用忠诚不断保护君之所重。如果不是隋末乱世，这两人也算是君臣相知的代表了。张须陀战死后，中原的叛乱无人镇压，朝廷失去了对河南、山东的控制，隋炀帝被彻底孤立在江南，没过多久隋朝就灭亡了。
