谢玄小时候被寄养在谢安的家中，幼时的他就已经是个聪明伶俐的人，理解能力极强。谢安对自己的子侄们的要求也是极为严格的，一日他就问他们将来要怎样做人才能够拥有美好的名声呢。一时间众人没法回答出来，谢玄就站出来说他要要像一株种在前庭的芝兰玉树。谢安听了很是高兴。

后来因为前秦强盛，所以东晋边境时常受到北方军队的侵扰。朝廷就下旨选出一个文采兼备，能够统领军队抵御外敌的人才来。谢安就敢于冒众怒，向朝廷推荐了他的侄子谢玄。这一结果出来的时候，就连和谢玄不和的郗超也是持肯定态度的，他认为谢玄亲率大军必能取胜。

谢玄征招了三个州的兵夫，并且加以严格的训练，个个都是能征善战的好手。在大战开始前，就连一个送信的田泓也是气节高尚，令死也将指令送达了。同前秦苻坚的军队的首战，谢玄就取得了胜利。无奈之下苻坚退回废水以北，依赖废水为天险，伺机攻克谢玄的部队。谢玄故施计策，告诉对面的苻坚让等他们渡过淝水后再战。苻坚打算先退兵，待到谢玄的军队渡过时，再将其赶到水中。没想到大军一退，全军就开始四处奔逃，溃不成军，谢玄乘机击败了一时猖狂的苻坚。