孫恩因戰敗而投水死，眾人推其妹夫盧循為主。早在東征盧循的時候，劉牢之的外甥何無忌就勸劉裕在會稽起兵征討桓玄，但劉裕認為桓玄還沒有登極位，并且會稽遙遠，難以成就大事。現在桓玄既然如此，劉裕覺得機會成熟了，于是就和原北府兵的一些官兵何無忌、諸葛長民、劉毅、孟昶、檀道濟等密謀準備在京口、廣陵、歷陽等處同時起兵討伐桓玄，眾人共推劉裕為盟主。

元興三年二月二十七日，劉裕假托狩獵，與何無忌在京口（兗州刺史治所，在今江蘇鎮江）聚集了一百多人；次日晨，京口城門開，何無忌穿著傳詔服，扮成傳詔使者，走在前面，其他人隨著他一擁而入，齊聲大叫著沖進官府斬了桓玄的堂弟徐＆#8226;兗二州刺史安成王桓修。隨后在何無忌的推薦下，劉裕延請有治國才干且賦閑在家的劉穆之為主簿，共參大事。

與此同時，孟昶在廣陵（青州刺史治所，在今江蘇揚州）也勸桓修弟青州刺史桓弘外出打獵，天未亮，打開城門讓參與狩獵者出城，孟昶與劉毅、劉裕弟劉道規等率數十名壯士直沖桓弘住處，把正在吃粥的桓弘斬了，隨即率領眾人渡江。

諸葛長民在歷陽（豫州刺史治所，時稱“西府”，是建康的西大門。在今安徽和縣）因故失期，不能發，反而被刺史刁逵抓獲，然后用檻車送給桓玄。

桓玄得知劉裕等起兵且發布檄文，驚懼之下殺了原準備在京都作義軍內應的王元德等人，同時派遣自己的驍將頓丘太守吳甫之、右衛將軍皇甫敷前往京口迎擊劉裕率領的一千余人。

三月初一，義軍在江乘（在今江蘇句容北）與吳甫之相遇，劉裕手持長刀大呼沖擊，當即斬了吳甫之；隨后又遭遇皇甫敷，同樣臨陣斬了他。桓玄得知損了兩員戰將，大驚，急忙派遣桓謙、卞范之等率兩萬將士去覆舟山（在今南京太平門西側）以抵抗劉裕的義軍。

初二，義軍食畢棄其余糧，挺進覆舟山東側，派老弱登山多設旗幟作疑兵；桓謙的士兵多是過去的北府兵，他們一向畏服劉裕，如今見如此形勢，都沒有了斗志。劉裕身先士卒，與將士們殊死作戰，無不以一當百，吶喊之聲驚動京都，桓謙軍大敗。桓玄事先就在石頭城（故址在今南京市清涼山。其時江流緊迫山麓，城背山面江，南臨秦淮河口，地處交通要沖，是京都建康的軍事重鎮）下備好船只準備隨時逃走，現在見如此形勢，就以赴戰為名帶著他的親屬和數千親信，出南掖門后西奔石頭城，然后下大江向西逃去，義軍乘勝追擊。初三，劉裕鎮守石頭城，立留臺百官。眾人推舉他為使持節、都督揚＆#8226;徐＆#8226;兗等八州諸軍事、領軍將軍、徐州刺史；隨后又任命劉毅為青州刺史，何無忌為瑯邪內史，孟昶為丹楊尹，劉道規為義昌太守。

初十，劉裕回鎮東府（宰相及揚州刺史的府第，在今南京通濟門附近，臨秦淮河）。

既掌控京都，劉裕就把朝政要務都交給劉穆之處理，事無大小，也都向他咨詢；為重振綱紀，劉裕以身作則，內外百官肅然奉職，不過十日，撥亂反正：原先的混亂局面一時頓改。

桓玄逃到尋陽，江州刺史郭昶之在器具和兵力上資助他，他又逼迫被流放的安帝和自己一道向江陵逃去，冠軍將軍劉毅和輔國將軍何無忌、振武將軍劉道規率軍追趕。到了江陵，桓玄廣泛招募士兵，并大造戰船、器械，四月底，他又率領兩萬將士，挾持著安帝順江而下開始反撲，在崢嶸洲（在今湖北鄂州境內的長江中）與劉毅等相遇。劉毅等乘風縱火，盡銳爭先，桓玄大敗，燒了輜重連夜西逃。到了江陵，桓玄準備逃往西蜀，被益州督護馮遷殺死。劉毅把他的首級傳到京都，梟首朱雀航（又作“朱雀橋”“朱雀桁”，又稱“南航”“大航”，故址在今南京市鎮淮橋稍東，跨秦淮河上，航長九十步，寬六丈，有警則撤航為備，是京都的城南門戶）。直到次年正月，劉毅等才攻破桓氏余黨占據的江陵；到了五月，以桓振為首的諸桓殘余被徹底平定。

在劉毅等攻破桓氏余黨占據的江陵時，安帝才上了劉道規的戰船，然后下詔大赦，改元為義熙。三月，安帝回到建康，以劉裕為侍中、車騎將軍、都督中外諸軍事，徐＆#8226;青二州刺史如故，劉毅為左將軍，何無忌為右將軍、豫州刺史，劉道規為輔國將軍、并州刺史。劉裕固讓不受，到了四月，劉裕還鎮京口，朝廷改授他為都督荊、司等十六州諸軍事，加領兗州刺史，朝政仍然掌握在他的手中。

五月，劉裕派使者去長安（在今陜西西安），以向后秦求和為名，索要七年前因晉將歸降后秦而失去的晉朝土地；后秦主姚興畏懼他，就把南鄉、新野等十二郡歸還給了他。朝廷封劉裕為豫章郡公，劉毅為南平郡公，何無忌為安成郡公。

義熙二年，年已四十四歲的劉裕才有了自己的第一個兒子劉義符。義熙四年，因司徒、錄尚書、揚州刺史王謐薨，朝廷征劉裕入輔，任命他為侍中、車騎將軍、開府儀同三司、錄尚書、揚州刺史，徐州刺史如故。

義熙五年（公元409年）二月，建都廣固（在今山東益都西北）的南燕主慕容超嫌太樂伎人太少，就派兵侵犯晉淮北地區，俘獲濟南太守趙元等，擄掠千余家，然后挑選男女二千五百人給太樂教習。三月，劉裕力排眾議上表北伐，四月，大軍從京都出發，沿淮河進入泗水；五月，大軍到達下邳（在今江蘇睢寧西北），留下船艦輜重，步行進入瑯邪（在今山東膠南縣西南），所過要地都筑城防守。

起初有人擔心慕容超會占據大峴（在今山東臨朐東南，即穆陵關，是齊地天險），或堅壁清野，大軍深入不僅將無功，甚至不能撤歸。劉裕解釋說：“慕容超生性貪婪，且無遠慮，他最多只會進占臨朐，必不會守險清野！”待劉裕大軍入境，慕容超的謀士建議占據大峴堅壁清野，慕容超果然不愿采納，他錯誤地認為劉裕遠來疲敝不能持久，只需縱敵入大峴，然后用精銳騎兵沖撞踐踏即可。劉裕過了大峴不見燕兵，就舉手指天，喜形于色：“兵已過險，士有必死之志；余糧棲畝，人無乏食之憂。虜已入我掌中！”

六月，慕容超先已派其大將公孫五樓率步騎兵五萬人占據臨朐，聽說劉裕已過大峴，又親自率步騎兵四萬前往增援。劉裕把四千戰車分為左右翼，并車徐行，與南燕軍戰于臨朐城南，至太陽偏西不分勝負。這時參軍胡藩建議趁臨朐城內空虛，繞道從敵后攻下臨朐；劉裕就派胡藩率軍繞道敵后，果然很快就拿下了臨朐城。劉裕率領大軍乘勢奮擊，殺敵大將十多人，南燕軍大敗，慕容超倉皇逃回廣固。劉裕乘勝追至廣固，不久就攻克其大城，慕容超退守小城，晉軍隨即筑長圍包圍小城。晉軍也停止了遠自江淮的漕運，只憑齊地糧食作為軍糧。

這時持戈背糧前來投奔劉裕的北方民眾日以千計，慕容超的大將垣尊、垣苗兄弟也越城來降。其后數十日晉軍攻城不破，有人舉薦：若得慕容超的尚書郎張綱，使其制造攻城器具，城就可破。恰逢張綱從后秦求援歸來，被晉軍俘獲，劉裕就把他放在樓車上讓他向城內喊話：“夏已破后秦，無兵相救！”城內燕軍大驚失色，慕容超請求割讓大峴以南的土地向晉稱臣，劉裕沒有答應。

這時后秦姚興派使者來告訴劉裕：秦燕交好，今晉急攻燕，若不撤退，秦軍駐扎洛陽的十萬鐵騎將長驅進逼！劉裕聽了哈哈大笑：“回去告訴姚興：滅燕之后，息兵三年，我當前取關、洛；若能自送，就盡快來！”謀士劉穆之事后責怪他這樣只會張虛聲招實害，劉裕笑著說：“兵貴神速。姚興若真能赴救，就害怕我知，怎會事先跑來預告我？這不過是他虛張聲勢：他見我伐齊，自顧不暇，又怎能救人！”張綱所造攻城器械，有飛樓木幔，極盡機巧，城上火石弓箭奈何不得。

義熙六年二月初五，劉裕準備大舉攻城，有人勸阻說：“今日是往亡日，不利征戰。”往亡日，舊歷每月皆有，是陰陽家所謂兇日：此日忌拜官上任、遠行歸家、出軍征討等。劉裕聽了一笑置之：“我往而敵亡，又有何不利！”于是四面急攻，燕守將開門引入晉軍，慕容超率數十名親信飛馬突圍而去，晉軍追擊捕獲了他；劉裕責其不降之罪，斬其王公以下三千人，將其城池夷為平地，把慕容超送到京都建康斬首：南燕歷十三年而亡。