曹操有五位大将，史称“五子良将”，排在首位的是张辽，故为曹操第一良将。在《三国演义》中，张辽武艺不在关羽之下，战张郃五十余合，斩蒋奇，斩蹋顿，伏杀太史慈，大败孙权，最终被此将射死。
张辽最早是吕布部将，关羽赞其勇，称他的武艺“不在我之下”。后来吕布战败被部将绑到曹操面前，张辽也被俘。吕布被勒死，张辽大骂曹操，曹操欲杀，刘备、关羽为张辽求情，曹操将张辽待为上宾，张辽于是降曹。
曹操在下邳城外的土山上包围关羽，张辽劝关羽暂时降曹。后关羽过五关斩六将寻刘备，过了黄河，夏侯惇追杀，张辽阻止，让夏侯惇放行。在官渡之战中，张辽大战张郃五十多回合不分胜负，又斩蒋奇，大败袁尚、沮鹄。后又率许褚、于禁、徐晃迎击乌桓军，亲斩乌桓单于蹋顿。
赤壁之战时，张辽亲载小舟渡曹操脱险，并射伤黄盖。赤壁战后，曹操命张辽为主将，，引李典、乐进等守合肥，以御孙权。孙权亲临合肥，与张辽多次交战，未能获胜。太史慈派吴兵混入魏军城中，想里应外合破曹军，张辽将计就计引太史慈入城，结果太史慈中埋伏伤亡。
后来，孙权乘曹操远在汉中之机，再次引军进攻合肥，张辽接曹操密令，灵活调动军队，大败孙权。张辽随曹丕以大船征伐江东，军队被徐盛所击败。曹丕登岸逃亡时，吴将丁奉从岸边杀至，张辽为保护曹丕迎敌，被丁奉一箭中腰，回营后不治身亡。
