義熙九年二月末，劉裕回到東府。因一向驕縱貪婪，諸葛長民此時也擔心自己將成為下一個劉毅，開始自疑起來。為防意外，劉裕在東府先讓壯士丁旿埋伏在帷幔后面，自己和諸葛長民親切交談之后，丁旿從帷幔后走出來用力杖擊諸葛長民致其死，劉裕隨即又派人殺其二弟。朝廷加劉裕為豫州刺史。七月，朱齡石攻克成都，譙縱逃至城外自縊而死，盤踞西蜀達九年之久的譙縱勢力滅亡。

現在還剩下一個平西將軍、荊州刺史司馬休之。司馬休之是晉王朝的宗室，他代劉毅為荊州后，深得江、漢一帶人心，劉裕覺得他是自己將來的一個障礙，就想除掉他。

義熙十年，劉裕先以其性情兇暴的長子司馬文思多行不法為由，把文思送給司馬休之，讓他嚴加訓誡，實際上是要他殺掉自己的兒子，但他只是上表廢黜兒子的繼承權，并向劉裕表示道歉而已。

到了次年正月，劉裕在京都收捕司馬休之的兒子文寶和侄子文祖，隨即殺了他們，然后率領大軍西討司馬休之。雍州刺史魯宗之自疑終究不能為劉裕所容，就率領他的兒子竟陵太守魯軌起兵響應司馬休之。劉裕派參軍檀道濟和朱超石挺進襄陽，江夏太守劉虔之率兵聚糧等待他們，但檀道濟遲遲不來，魯軌襲擊劉虔之并殺了他。劉裕又派其女婿振武將軍徐逵之率領參軍蒯恩等挺進江夏口（長江與夏水交匯口，在今湖北沙市境內），徐逵之等與魯軌激戰，兵敗被殺。劉裕時在江陵城對岸，得知女婿死況，大怒，親自披甲渡江，司馬休之四萬兵一時崩潰；劉裕又派遣武陵內史王鎮惡等追擊，司馬休之與魯宗之、魯軌父子等北逃后秦。

朝廷加劉裕太傅、揚州牧，劍履上殿，入朝不趨，贊拜不名，以其弟劉道憐為荊州刺史。義熙十二年正月，朝廷加劉裕兗州刺史，都督二十二州諸軍事，以其十一歲的世子劉義符為豫州刺史。三月，朝廷又加劉裕中外大都督。所謂朝廷，都是劉裕或其親信的意思。

這年二月，后秦主姚興死，其子姚泓即位，兄弟相殺，關中擾亂。到了八月，劉裕讓左仆射劉穆之入居東府總攝內外，太尉府左司馬徐羨之輔佐他，自己親率大軍北伐后秦：龍驤將軍王鎮惡、冠軍將軍檀道濟率步兵從淮河、淝水挺進許、洛，新野太守朱超石、寧朔將軍胡藩挺進陽城（在今河南登封東南），振武將軍沈田子、建威將軍傅弘之挺進武關（在今陜西丹鳳東南），建武將軍沈林子、彭城內史劉遵考率領水軍從汴水進入黃河，以冀州刺史王仲德督前鋒諸軍。

王鎮惡、檀道濟進入后秦境內，所向披靡；秦徐州刺史姚掌和兗州刺史韋華相繼投降，隨后晉軍又攻克許昌。王仲德的水軍進入黃河逼近滑臺（在今河南滑縣東滑縣城，北臨古黃河，軍事要地。后為北魏四鎮之一），魏守將兗州刺史尉建棄城渡河，王仲德占據滑臺，魏人斬了尉建投尸黃河。

到了十月，秦洛陽守將陳留公洸被迫出降，檀道濟進入洛陽。朝廷下詔派遣高密王司馬恢之祭掃五帝陵（晉之三祖宣、景、文陵墓和武帝、惠帝陵），太尉劉裕讓冠軍將軍毛修之戍守洛陽，行司州事務。

十一月，劉裕派遣左長史王弘回建康諷朝廷求九錫（古代天子賜給諸侯、大臣的九種器物，是一種最高禮遇。魏晉六朝掌政的大臣將奪取政權、建立新王朝都會沿襲王莽篡漢先邀九錫故事，后來以九錫為權臣篡位的先聲）。時劉穆之留任京都，見王弘帶著旨意從北方來，自覺遲鈍，于是憂懼發病。

十二月，朝廷下詔以劉裕為相國、總百揆、揚州牧，封十郡為宋公，備九錫之禮，位在諸侯王上，劉裕對朝廷給予他的厚禮又辭讓不受。這都是他學前人的樣子：一方面要給自己造勢，另一方面又擺出高姿態以贏得聲譽。

義熙十三年正月，劉裕率領水軍從彭城（今江蘇徐州）出發，留其十一歲的第三子彭城公劉義隆鎮彭城，朝廷以劉義隆為徐州刺史。其后劉裕的大軍從淮河、泗水進入清河，然后再進入黃河，溯流西上，他們派使者向魏人借道，魏主拓跋嗣派十萬兵駐扎黃河北岸以防晉軍入侵。在劉裕西行的過程中，魏兵數千騎兵始終沿著北岸監視晉軍西行，晉軍船只有因風漂流到北岸的，魏軍就殺了他們，這大大激怒了劉裕，他令壯士丁旿帶領七百人渡河，在岸邊擺好卻月陣，然后張設大弩，魏軍包圍他們，大弩不能用，他們又改用大錘錘擊短矟,一矟就貫穿三四人，魏軍不能抵擋，崩潰，晉軍乘勢追擊，殺死、俘虜了上千人，臨陣斬了魏的冀州刺史阿薄干。

晉各路軍雖有阻礙，但總勢節節向前。四月，劉裕到達洛陽，七月，進入陜縣（在今河南三門峽），八月，進入潼關。此時王鎮惡率領水軍從黃河進入渭水，直趨后秦都城長安，秦軍奮力抵抗，王鎮惡身先士卒，在長安東北的渭橋大破秦軍，前來援救的秦主姚泓單馬逃回宮中。王鎮惡攻破北門，姚泓見大勢已去，不得不帶著他的妻子兒女和群臣到王鎮惡的軍營門前投降。

九月，劉裕進入長安，對前來迎接的王鎮惡說：“成就我霸王大業的，是卿啊！”劉裕收繳秦彝器、渾儀、記里鼓、指南車等送往建康，其余金玉珍寶都獎賞給了將士，而對前來投降的后秦貴族，劉裕把他們都殺了。原先逃亡后秦的司馬休之和魯軌等盡皆逃亡北魏。隨后，劉裕又把姚泓送往建康，斬之于鬧市。至此，后秦歷三帝三十四年而亡。

劉裕原準備繼續經略趙、魏，這時留守京都的劉穆之病亡，劉裕覺得根本無所托，或許會出現意外，于是決定盡快東回，留下十二歲的次子桂陽公劉義真鎮守長安，任命他為安西將軍、雍州刺史，同時留下心腹將領輔佐他：太尉咨議參軍王修任長史，王鎮惡任司馬兼馮翊太守，沈田子、毛德祖任中兵參軍。

三秦父老聽說劉裕要東歸，失望之余流淚挽留：“殘民不沾王化，至今百年；見王師奏捷，人人相賀。長安十陵是公家墳墓，咸陽宮殿是公家室宅。為何棄此東歸？”

劉裕聞言嘆息，但不得不離開長安。