匈奴人占领了中原，北方大乱，老百姓纷纷向南方逃难.刘琨的好朋友祖逖也带了全族上百号人逃往南方.一路上看着拥挤不堪、车马杂乱的逃难人群，祖逖心里万分焦急.他看前面有一个小土堆，便走上前去，对着人群高声喊道：“乡亲们不要乱，现在匈奴就在我们的后面，随时可能追上来，我们要有次序地跑，才能摆脱敌人，请大家听我的指挥.”

看着这么一位身材魁梧、相貌英俊的汉子登高呼喊，人群一下被镇住了，但他们马上觉着他的话有道理，就让他牵头负责.有了指挥，行进果然快了.为了保护大家，他还把青壮年按军队的方式集合了起来.

到了南方，大伙安定了.可组织起来的青壮年却不愿散去，他们在逃难中已对祖逖的人格、能力有了充分的信任，他们希望他能领导大家打回老家去.祖逖也有恢复中原的大志，便带着他们投奔当时驻在建康(今江苏南京)的司马睿.他对司马睿说：“现在中原的百姓正在遭受敌人迫害，人人都想起来反抗.希望您能派我们去收复失地，北方各地的人们一定都会起来响应.”

这时的司马睿正忙着筹备当皇帝的事，没有恢复中原的打算，但听祖逖说得有道理，也不好推辞，勉强答应他的请求，给了他一个豫州刺史的头衔、一千人的粮食和三千匹布，至于兵马和武器，却叫他自己想办法.

这并不能妨碍祖逖去实现自己的雄心壮志，他很快带着自己在逃难时组织起来的队伍，横渡长江.站在船头，祖逖拿着船桨拍打船舷，向大家发誓说：“我祖逖如果不能收复中原，决不再过这条大江.”

祖逖的这一席豪言壮语使随行的壮士个个热血沸腾.这就是成语“中流击楫”的由来.

到了淮阴(今江苏淮阴)，祖逖立刻着手制造兵器，招兵买马，很快就聚集了两千多人.稍加训练，祖逖就带着这支军队向北进发了.祖逖的军队一路上得到百姓的支持，迅速收复了许多失地.他还争取到了许多拥有私人武装的豪强地主的支持，跟他一起北伐.进入豫州，祖逖的人马多次和后赵军队发生激战.

公元319年，在陈留一带，祖逖率军大败后赵五万人马，北伐军士气大振.后来两军又在蓬陂(今河南开封附近)发生战斗，相持四十余天，双方的军粮都发生了困难.

有一天，祖逖派了一千多人的部队，装着押运粮草的样子，押着许多粮车，从小路上赶往晋营.布袋里装的都是泥土，只有最后几辆装的是粮食.小路距赵营并不远，后赵兵看到晋军运来这么多粮，很是眼红，就派兵来抢.

在交战中，晋军故意丢下了后面的几辆车.赵军抢到了一点粮食，可这并不能解决问题，又看到晋营军粮那么充足，军心就动摇起来.赵将桃豹赶忙派人向石勒求救.几天后，石勒派人向赵营运粮，祖逖探得情报，在路上设下伏兵，把粮食全部夺了下来.没了军粮，赵军再也支持不住，就连夜弃阵而逃.

刘琨在北方听到老朋友祖逖带兵北伐，高兴地说：“我夜里枕着兵器睡觉等天亮，就是一心要消灭敌人.现在太好了，祖逖跑到了我的前面.”

祖逖领导北伐军经过艰苦的斗争，收复了黄河以南的全部领土，北伐军也发展壮大起来.这时已当了皇帝的司马睿，看祖逖功劳大，就封他作了镇西将军.

可祖逖并不满足，他积极操练兵马，准备继续北伐收复黄河以北的国土.司马睿却怕祖逖势力太大，不好控制，就派了一个叫戴渊的来控制他，统管北方六州的军事.

祖逖看朝廷不信任他，心里很不愉快.后来听说好朋友刘琨在幽州被王敦派去的人害死，而司马睿又正在跟王敦明争暗斗，心中十分气愤，长时间的闷闷不乐，祖逖终于病倒了，临死时他还念念不忘北伐的事.