建武元年，祖逖进驻芦洲，攻占谯城，终于在豫州站住脚跟，打通了北伐的通道。太兴元年，司马睿在建康称帝，建立东晋，是为晋元帝。由于，祖逖对人谦逊，对豪杰多礼遇，因此他的名声也越来越大，很多人愿意跟着他做，李头在征讨樊雅时，力战有功，颇得祖逖礼遇，常叹道：“我若能得祖逖为主，虽死无恨。”陈川闻知大怒，遂杀死李头，李头的亲信冯宠便率所部四百多人投奔祖逖。

　　此时的中原尚且不稳定，祖逖想要平复这动荡的局势，阻挡他的人不只陈川这样的人，他还遇到了一个劲敌石勒，“赵汉”的大将石勒与祖逖势均力敌。祖逖礼贤下士，善于体恤民情，即使是关系疏远、地位低下之人，也能施布恩信，予以礼遇。将士稍有微功，便会加以赏赐。他生活俭朴，不畜资产，劝督农桑，带头发展生产，又收葬枯骨，深得民心。刘琨在给亲戚写信时，大力称颂祖逖威德，晋元帝也下诏擢升他为镇西将军。石勒见祖逖势力强盛，不敢南侵。

　　眼看祖逖就要有一番成就，却在大兴四年，因为自己功高始终不得朝廷的信任，而感到抑郁，不久，祖逖又听闻王敦跋扈，朝廷内部矛盾日益尖锐的消息，担心内乱爆发，北伐难成，以致忧愤成疾，最后也因为身体抱恙，依旧担忧国家大事，导致病重不久于人世。