张耒出身世宦之家。祖父任职于福建，父亲官至三司检法官。外祖父李宗易官至太常少卿，长于写诗，深得晏殊赏识。张耒受家学影响，十三岁就爱写文章，十七岁作《函关赋》，被时人传诵。此后他游学于陈州，得到当时在陈州为学官的苏辙的厚爱。熙宁四年（1071年），苏轼出任杭州通判前，来陈州与苏辙话别。张耒得以谒见苏轼，颇受苏轼青睐，自此便成为苏氏兄弟的门下客。

在苏轼的引荐下，张耒于熙宁六年（1073年）考中进士。初为临淮主簿，后在安徽、河南等地做官。他在任上为官清廉，勤勤恳恳，过着清贫劳碌的生活。

哲宗即位时，高太后垂帘听政，起用反对王安石变法的司马光，苏轼、苏辙相继奉调回京。元祐元年（1086年）大臣范纯仁荐举张耒参加太学学士院考试。这次被荐参加考试的还有黄庭坚、晁补之等人，由翰林学士苏轼命题，结果三人同被拔擢。

到了元祐三年（1088年），秦观被召到京师，任太学博士，校正秘书，亦入苏轼门下。这段时间，苏门四学士齐聚京师，他们每有新作，京城争相传诵，因为供不应求，纸价都比从前贵了很多。他们在一起钻研学问，诗词唱和，书画相赠，成为北宋文坛的盛事。

哲宗亲政后，起用新党，报复元祐旧臣，张耒也不能幸免。他被一贬再贬，直到徽宗即位才有过短暂的升迁。当时张耒听说被贬到海南岛的苏轼要奉调北归了，十分欢喜，写诗相贺说：“今晨风日何佳哉，南极老人度岭来。此翁身如白玉树，已过千百大火聚。”可是不久噩耗传来，苏轼于归途中卒于常州。张耒在颍州举哀行服，悼念恩师。

结果此举成为他不忘旧党的把柄，他于崇宁元年（1102年）再次被贬到湖北，安置于黄州。在那里，他也像秦观一样，被当地地方官刁难。他不能住在官舍里，也不能住在佛寺里，最终只有在柯山旁租屋而居。他的生活窘迫到什么程度了呢？他在一首诗中这样写道：家里很久都没有肉吃，女儿没有脂粉，儿子穿着补丁上打补丁的衣服。每天吃不饱饭，更不用说生病买药了。

幸运的是，在这里他遇到了苏轼的弟子潘大临。同是天涯沦落人，两人互相勉励，成为知己。潘大临家也非常穷。当时他的朋友谢逸（江西诗派临川四才子之一，因写了三百多首咏蝶诗，人称谢蝴蝶）写信问他有没有新作。潘大临回信说：“秋来景物甚好，件件都可入诗。昨天刚得了一句‘满城风雨近重阳’，结果催租的来了，真扫兴，后面就没写下去了。”徽宗大观年间，潘大临客死蕲春，年纪不到五十。

崇宁四年（1105年），秦观的儿子带着父亲的灵柩归葬扬州，路过黄州时，张耒临江祭奠，痛哭不已。崇宁五年（1106年），宋徽宗诏除一切党禁，张耒才回到故乡。大观年间，他移居陈州，监南岳庙，主管崇福宫。尽管晚年长期赋闲，贫病交加，但他一直以苏轼的门人为傲，对于自己的选择从不后悔。政和四年（1114年），张耒去世，享年六十一岁。