臧质是刘裕的结发妻子臧爱亲的娘家侄子，出于对臧爱亲的深爱，刘裕对妻子的这个侄子也很看重，不到20岁就被任命为中行军参军。而臧质，也表现出很不错的潜质。
臧质的军事才华在和北魏的战争中发挥的淋漓尽致。元嘉末年，宋文帝在大臣王玄谟的游说下，打起了北伐的主意。于是，就有了历史上著名的元嘉北伐。这一年是公元450年。
刘宋王朝的对手是北魏的拓跋焘，他在历史上也是个厉害的人物，两军在盱眙展开了一场有名的战争：盱眙之战。
盱眙之战前，臧质让胡崇之和臧澄之占据盱眙城东的高山，又让毛熙祚驻军前浦，他自己驻扎在南城。
胡崇之和臧澄之的两队人马不禁打，很快被魏军消灭了。毛熙祚的军队，虽然作战力很强，但主帅毛熙祚很快死了，部下成了无头的苍蝇，也被魏兵收拾了。
接连胜了两次，魏军的气势旺盛。臧质熟读兵书，知道这时候不是跟对方交战的时候，他眼睁睁看着三支部队全军覆没，自己带领的人马轻装撤退。他们退入盱眙城。他要死守盱眙。
