后孙权“守合肥十余日，城不可拔，乃引退”。当孙权与诸将行至逍遥津北时，恰为张辽侦知。辽即率步骑突然而至，甘宁与吕蒙等吴将与辽力战，凌统则率亲兵护权出围。当孙权退至逍遥津桥时，见桥南已拆、丈余无板。在此危急关头，孙权近监谷利急中生智，于孙权坐骑后猛着一鞭，使孙权借助奔马之势飞桥而过，幸免于难。此战史称张辽威震逍遥津，是三国时期魏吴相争中创下的一次以少胜多的著名战例。
 
　　此役后曹操大赞张辽，拜征东将军。建安二十一年，曹操又征孙权。军到合肥，曹操巡视昔日张辽作战的地方，赞叹良久。后来继位的曹丕曾评价说:“合肥之役，辽、典以步卒八百，破贼十万，自古用兵，未之有也。”并赞其“此亦古之召虎也。”《三国志魏书十七张辽传》(召虎是与方叔、尹吉甫、秦仲等齐名的东周大将。)
 
　　此后，张辽以征东将军之职屯兵居巢(今安徽桐城南)，防范孙权。曹丕接任王位后，改迁张辽为前将军，也封其兄及子为列侯。孙权再叛，曹丕遣张辽还屯合肥，晋爵都乡侯。曹丕准其母乘车及兵马送其家人到他驻军的地方，这在当时是至高荣誉。后曹丕称帝，封张辽为晋阳侯，增食邑至两千六百户。黄初二年，曹丕还特别替张辽建造屋舍，替他母亲兴建殿室，又把跟随张辽的步卒封为虎贲。
 
　　张辽不幸在此时得了疾病。曹丕便遣侍中刘晔带太医视疾，甚至亲到其营执其手问候，赐其御衣，更派太官送御食。待张辽之疾稍愈，辽即还屯。正当其时，孙权复叛，黄初三年，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，告诫部下说:“张辽虽病，不可当也，慎之！”其畏张辽如此。同年，张辽抱病与曹休伐吴，打败吴将吕范。
 
　　不久张辽病笃，逝于江都，魏失栋梁，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣其爵位。