之后张玉又升任为都指挥佥事，当时朝廷派遣大量军队来讨伐燕王朱棣，都督徐凯屯军河间，潘忠、杨松驻军鄚州，长兴侯耿炳文则率领三十万大军镇守在真定。
张玉进言说：“潘忠、杨松勇而无谋，我们可以先袭击然后再俘获他们。”于是，朱棣命张玉率领亲兵作为前锋，到达楼桑这个地方时正值中秋，南军正在庆贺中秋佳节。夜半时分，，张玉迅速攻克了雄县。
此时，潘忠、杨松前来支援，张玉同他们在月漾桥交战，最终生擒了他们，从而攻克了鄚州。后来张玉多次带兵打仗，一路高歌猛进，有势不可挡的趋势，也为朱棣立下了汗马功劳。
然而，就在燕军气势大盛之时，张玉率军进攻东昌，遇到了盛庸的军队。当时朱棣亲自出战，带领数十名精锐的骑兵绕到其后，结果他却被盛庸大军重重包围，朱棣奋力突围才得以逃脱。
