215年，曹操遣薛悌前往合肥，给驻守在合肥的张辽等人送上一函。由于曹操身在汉中，距离合肥甚远，果不其然不久之后孙权便率领着十万大军出征合肥，志在必得。张辽拆开此函，明白了曹操的用意，认为在兵力处于极大劣势之时，应该乘着吴军尚未集结完毕之前，攻其不备，一来扰乱敌方军心，二来稳定我军军心。而且此战势在必行，敌我双方实力悬殊太大，倘若等待援军，时日太久遥遥无期，军心肯定不稳，等到日后双方正式正面交锋，几乎没有取胜的希望。

靠着身先士卒不回头的信念，次日便与八百名壮士突击吴军，借着必胜和必死的心态，英勇无畏的战斗力，立斩数名干将，致使孙权方寸大乱。将张辽包围数次，他都成功突围，无人敢抵挡张辽。之后吴军势气大减，攻打合肥数日依旧攻打不下，撤退之时张辽乘胜追击，若不是得到凌统等人的救助，孙权也难以脱逃。

合肥之战使张辽威震四方，也让曹操更加赞赏张辽。数年之后孙权对张辽仍然心存余悸。

220年，曹操去世之后，曹丕称帝，加封张辽为晋阳侯，对张辽非常之看重。张辽最终在江都病逝，曹丕伤心流涕，后命其子张虎承其父爵。