自從匈奴人占領(lǐng)中原，北方有許多人避難到南方來。劉琨的好友祖逖也帶了幾百家鄉(xiāng)親來到淮河流域一帶。在逃難的行列中，祖逖主動出來指揮，把自己的車馬讓給老弱有病的坐，自己的糧食、衣服給大家一起吃用。大家都十分敬重他，推他做首領(lǐng)。

到了泗口（今江蘇清江市北），祖逖手下已經(jīng)有一批壯士，他們都是背井離鄉(xiāng)的北方人，希望祖逖帶領(lǐng)他們早日恢復(fù)中原。

當(dāng)時，司馬睿還沒有即皇帝位。祖逖渡江到建康，勸瑯琊王司馬睿說：“晉朝大亂，主要是由于皇室內(nèi)部自相殘殺，使胡人乘機(jī)會攻進(jìn)了中原。現(xiàn)在中原的百姓遭到敵人殘酷迫害，人人想要起來反抗。只要大王下令出兵，派我們?nèi)ナ諒?fù)失地。那么北方各地的人民一定會群起響應(yīng)。”

司馬睿并沒有恢復(fù)中原的打算，但是聽祖逖說得有道理，也不好推辭，勉強(qiáng)答應(yīng)他的請求，派他做豫州（在今河南東部和安徽北部）刺史，撥給一千個人吃的糧食和三千匹布，至于人馬和武器，叫他自己想辦法。

祖逖帶著隨同他一起來的幾百家鄉(xiāng)親，組成一支隊(duì)伍，橫渡長江。船到江心的時候，祖逖拿著船槳，在船舷邊拍打（文言是‘中流擊楫”），向大家發(fā)誓說：“我祖逖如果不能掃平占領(lǐng)中原的敵人，決不再過這條大江。”他的激昂的聲調(diào)和豪壯的氣概，使隨行的壯士個個感動，人人激奮。

到了淮陰，他們停下來一面制造兵器，一面招兵買馬，聚集了兩千多人馬，就向北進(jìn)發(fā)了。

祖逖的軍隊(duì)一路上得到人民的支持，迅速收復(fù)了許多失地。當(dāng)時，長江以北還有不少豪強(qiáng)地主，趁中原大亂的機(jī)會，占據(jù)堡塢，互相爭奪。祖逖說服他們停止內(nèi)爭，跟隨他一起北伐，對不聽號令、依附敵人的，就堅(jiān)決打擊。祖逖的威望就越來越高了。

劉琨在北方聽到老朋友祖逖起兵北伐，也很高興，說：“我夜間枕著兵器睡覺等天亮，就是一心要消滅敵人。現(xiàn)在祖逖跑到我前面去了。”

公元３１９年，陳留地方的豪強(qiáng)地主陳川投降后趙國主石勒，祖逖決定發(fā)兵進(jìn)攻陳川。石勒派兵五萬援救，被祖逖打得大敗。接著，后趙的將領(lǐng)桃豹和祖逖的部下韓潛又爭奪蓬陂（在河南開封市附近）城。戰(zhàn)斗了四十天，相持不下，雙方的軍糧都發(fā)生了困難。

有一天，祖逖用布袋裝滿了泥土，派一千多名兵士扛著，運(yùn)到了晉營，裝作運(yùn)糧的樣子。最后又派了幾個兵士扛著幾袋米，運(yùn)到半路上，故意停下來休息。

桃豹在趙營內(nèi)看到晉兵運(yùn)來那么多的米，自然眼紅，就趁晉兵休息的時候，派了大批兵士來搶。晉兵丟下米袋就逃。趙營里早已斷了糧，搶到了一點(diǎn)米，只能夠勉強(qiáng)維持幾天，但是大家看到晉營里軍糧那么充足，軍心就動搖起來了。桃豹趕快派人向石勒求救。

過了幾天，石勒派了一千頭驢子裝運(yùn)了糧食接濟(jì)桃豹。祖逖早就探得情報，在路上設(shè)下伏兵，把后趙的糧食全部截奪下來。這樣一來，桃豹再也支持不住，連夜放棄陣地逃跑了。

祖逖領(lǐng)導(dǎo)晉兵艱苦斗爭，收復(fù)了黃河以南的全部領(lǐng)土，后趙的兵士陸續(xù)向祖逖投降的也很多。晉元帝即位后，因?yàn)樽驽压诖螅馑麨殒?zhèn)西將軍。

祖逖在戰(zhàn)斗的艱苦環(huán)境中，和將士們同甘共苦，自己的生活很節(jié)約，把省下的錢盡量幫助部下。他還獎勵耕作，招納新歸附的人。即使是跟自己關(guān)系疏遠(yuǎn)和地位低下的人，他也同樣熱情地對待。生地的百姓都很擁護(hù)他。

有一次，祖逖舉行宴會招待當(dāng)?shù)馗咐稀Ｈ藗兏吲d得又是唱歌，又是跳舞。有些老人流著眼淚說：“我們都老了，今天能夠在活著的日子里看到親人，死了也可以閉上眼睛了。”

祖逖一面操練士兵，一面擴(kuò)大兵馬，預(yù)備繼續(xù)北伐，收復(fù)黃河以北的國土。哪兒想到昏庸的晉元帝對祖逖竟放心不過，怕祖逖勢力太大了不好控制，派了一個戴淵來當(dāng)征西將軍，統(tǒng)管北方六州的軍事，叫祖逖歸他指揮。祖逖辛辛苦苦收復(fù)失地，反而受到朝廷的牽制，心里很不舒坦。

不久，祖逖聽說他的好友劉琨在幽州被王敦派人害死，又聽說晉元帝跟王敦正在明爭暗斗，心里又是憂慮，又是氣憤，終于得病死了。豫州的男女老少聽到祖逖去世的消息，像死了自己的親人一樣傷心。

祖逖雖然沒有完成恢復(fù)中原的事業(yè)，但他那中流擊楫的英雄氣概，一直被后代的人所傳誦。