后梁末帝朱友贞时，张全义未受信任，曾经请求到河北指挥作战，未被采纳。后唐李存勗攻占梁都开封，他从洛阳赶去觐见，“泥首待罪”。由于在后梁时他常通过其弟张全武秘密与太原方面交往，所以李存勗待他很客气，“抚慰久之”。张全义一方面表示自己“曾栖恶木，曾饮盗泉，实有瑕疵”，改去朱温所赐宗之名，并请李存勗到洛阳行郊天之礼，公开表示效忠新朝;另一方面又通过关系“厚赂”李存勗的皇后刘氏，竟至使刘皇后认他为义父，真可以说是费尽心机。因此，张全义在后唐也受到尊崇，先被封为魏王，后改封为齐王，任命为守太尉、中书令、河南尹并兼领河阳。可是他处理政务很马虎，“凡百姓词讼，以先诉者为得理，以是人多枉滥，为时所非”。另外，他与河南的一个县令罗贯有私愤，便通过刘皇后在李存勗面前说罗贯的坏话，结果罗贯被杀，“冤枉之声，闻之远近”。

后唐同光四年(926)二月，赵在礼据魏州发动兵变，李存勗打算亲自征讨，大臣们则主张派李嗣源前往，李存勗本不答应，最后在张全义的力荐下才同意。可是李嗣源到魏州后便与变兵合流。张全义闻变后，忧惧不食而死，终年75 岁，谥忠肃。