其年秋，公與楊公旁湘東下；公從君山、陽公從雷公湖，張雨翼。先以小舟誘賊，賊舟出，抄其后，燒百余舟。賊退保雷鼓臺，攻之不克；公與楊公乘三版船沖入賊中，公中鎗子傷指，血漬襟袖皆赤，進益猛，燒其坐船，賊遂潰退：軍中懾服，號為「彭、楊」。時羅公澤南等所統陸軍連戰皆捷，遂至沌口謀攻武昌；公曰：『是宜渡江，先燒其屯』。自塘角至青山，賊炮環列，丸發如雨；諸將皆露立，三版棹船徐進，無俯首避炮者。賊大驚，于是沿江賊悉潰；漢口、漢陽皆復。陸師不血刃復兩名城、一巨鎮，水師之力為多。群寇乃聚于田鎮，依半壁山，夾江為五屯；連舟斷江，纜以鐵索大鎖，布木為筏，置大炮焉；又護以炮船，望之峨然。水師下攻之，則為蘄州江岸之賊所撓。公麾師船掠蘄直下，分水軍為四隊，頭隊悉令具爐囗〈革葡〉、椎斧之屬；哨官孫昌凱，故鐵工也，方鼓橐吹埵，有小船視筏下劣容囗〈舟刃〉試入之，竟度二船，呼曰：『鐵鎖開矣』！賊愕亦呼，驚走墮水。擲炬燒筏，筏舟俱燼；山下賊亦顛越，坑谷尸相藉。此一役也，湘軍水師名聞天下。公與楊公旋至武穴養傷，而別將蕭捷三率水師由湖口駛入姑塘，為所扼，不得出；公乃于新塘鎮設廠造船，別立新軍，而水師始有內湖、外江之分矣。
五年，湖北巡撫胡公林翼攻武昌，賊閉城不出。水軍無所事，自沙口還沌口；道經武昌、漢陽，寇炮雷鳴，萬聲同發。公所乘船桅折船覆，公墜于水；或以三版船拯之，力挽不起，則水中有抱持公足者。舟人呼曰：『速釋手，此統領也』！公在水中，闖然曰：『此時豈顧統領耶』！已而并出水中，則抱足者即本船司舵者也。公笑罵曰：『若知是爾，我提擲數丈外矣』！公當生死之際，猶從容談笑如此。
曾文正自江西召公自助，公時適在衡，將趣南昌；而袁、瑞并陷，道不通。公易衣操皖音，偽為賈客，摩寇壘而行，徑達南昌；巡撫以下皆大驚。湘軍聞之，氣勢十倍。六年正月，公破賊樟樹鎮，又破臨江賊壘。三月，營于吳城鎮，以遏賊鋒。又會黃虎臣之師克建昌縣，轉戰吉、臨、瑞、建、南、饒、廣間無虛日。
七年，以惠潮嘉道協理水師。曾文正疏言公任事勇敢，勵志清苦，有國士風，堪勝總統水師之任。而公在江西，餉不時得、乞火藥亦不與；曾文正每嘆曰：『吾負雪琴』！既而湖北陸軍再克武漢，水陸俱下圍九江，攻湖口；賊扼石鐘山，遏內湖之軍，不使得合于外江。公率全軍分三隊出戰，賊于石鐘山置巨炮，適當我船之沖，傷十余船矣；或諫公曰：『今驅士卒與飛火爭命，徒死無益』！公泣曰：『不度此險，終無生理。今日，我死日也；義不令將士獨死』！鼓棹赴之，賊炮裂，炮者斃。我舟遂銜尾直下，俄頃之間與外江合，歡聲如雷；陸軍應之，進奪小姑山，復彭澤，連破樅陽、大通、銅陵、峽口寇壘而還，遂攻克九江府城。
十年，賊復圍湖口；公赴援，舍舟登陸，雨立數日夜，力戰卻之。
十一年，授廣東按察使。時文正弟忠襄公國荃攻圍安慶，賊陳玉成率悍賊三萬來援營于，菱湖；公創立飛劃營，抬劃船入湖，合陸軍大戰，毀其壘，遂克安慶：是為肅清東南之始。俄授公安徽巡撫；公上疏三辭，于是改公提督。又以武職望輕，改以兵部侍郎候補；旋補右侍郎。
賊自據金陵，以蕪湖為屏障，以東、西梁山為關鍵；同治元年，公與曾忠襄水陸會攻銅城閘，水師攻其東石壘、陸軍攻其西土壘，破之。于是收復巢縣、含山、和州三城，又襲破雍家鎮、玉溪口諸要隘，而克西梁山。又由鲇魚觜，進攻采石磯。時忠襄之師已由西梁山南渡，逼金柱關而營。公分水軍為三，一隊守險、一隊沖入內河；一隊輦炮登岸，環城而轟之。夜半，射火箭，焚其西門轈樓，賊從火焰中逸出，積骸滿渠；遂復金柱關，而東梁山亦一鼓而下。東、西梁山既復，蕪湖賊孤；循江而進，復蕪湖。而忠襄之師已進攻秣陵關，公率水軍由烈山赴之，會陸軍拔頭關，進攻江心洲。洲有二石壘，屹若堅城；公選壯士登岸，蛇行蘆葦間，逼壘縱火，焱焱燭天，洲遂破。又破蒲包洲，進泊金陵之護城河口；而忠襄之師遂進而營于雨花臺，以規復金陵。二年五月，攻復江浦、浦口兩城，乃議攻九洑洲。九洑洲在驚湍急浪中，賊筑壘數十，列舟環之，為金陵掎角；又有攔江磯、草鞋峽、七里洲、燕子磯、中關、下關諸隘，相倚以為固。前督師向公、和公皆以攻洲不克故，無成功。公議先破其南岸諸隘，命丁泗濱等循南岸而下，預以枯荻獲灌油焚其舟，乘勢薄其壘，猱而升；草鞋峽、燕子磯、下關諸隘悉平。次日昧爽，兩岸并舉，人皆死戰；賊在中關者竟不為動，自朝至暮。公令夜戰，且曰：『洲不破，不收隊矣』！是夜選精隊四十人，人持短兵、懷火蛋，令巴里坤總兵成發翔率之登岸，于黑霧中潛燒賊壘；諸將蟻附而上，前者殪、后者繼，踐尸復登。乙夜，大破九洑洲；群丑聚殲，無一脫者。最公生平田家鎮之戰、石鐘山之戰、九洑洲之戰，皆肉薄血戰；所謂「勞苦功高」，詢不虛矣。是年八月，解青陽之圍。十月，收復高淳、寧國、建平、溧水諸郡縣，奪還水陽、新河莊、東壩要隘。東壩既復，駐重兵焉；而金陵偽都糧道始斷。詔并論前九洑洲功，賜黃馬袿。
三年，江寧復，大功成；賞一等輕車都尉世職，加太子少保銜。
四年，命署漕運總督；再疏辭，言『臣本寒儒，傭書養母。咸豐三年丁母憂，曾國藩謬采虛聲，強令入營。初見，即自誓不求保舉、不受官職。十余年來，自知府至巡撫、由提督改侍郎，并未嘗一日居位；歷任廉俸及軍營例支官品銀，從未具領分毫。恩雖實授，官猶虛寄。若責臣以必赴，惟有負罪而再辭』。上鑒其誠，從之。乃與曾文正奏定長江水師之制：自荊、岳二州至崇明縣五千余里，設提督一員、總兵五員，以六標分汛營哨官七百九十八員、兵萬二千人；月餉及雜費銀皆取給長江厘稅，不煩戶部。公在軍垂二十年，初時軍餉奇絀，公商于鹽政，捆鹽自賣以供一軍之餉。至是，軍餉有額支實款，公以所領鹽票犒諸將領之有功者；而歷年余存鹽銀無慮六十萬，咨明兩湖、兩江督撫發南北兩鹽道生息，存為長江水師公費，且以備外患，一無所私。公疏言：『臣以寒士來，愿以寒士歸』。又言：『士大夫出處、進退，關系風俗之盛衰。臣墨绖從戎，志在滅賊；賊已滅而不歸，近于貪位。長江既設提、鎮，責有攸司；臣猶在軍，近于戀權。改易初心貪戀權位，則前此辭官疑于作偽。三年之制，賢愚所同；軍志已終，不仍補行終制，涉于忘親。四者有一焉，皆足以傷敗風俗。天下之亂不徒在盜賊，而在士大夫進無禮、退無義；臣豈敢稍犯不韙，以傷朝廷之雅化。古來，臣子往往始有建豎、末路隕越，由精氣竭也；臣每嘆其人不能善藏其短，又當日朝廷不能善全其長。知進而不知退，圣人深戒之。乞開臣兵部侍郎本缺，回籍終制』。疏入，報可，旋命公滿百日即出。公既歸，以查江舊居久圮，卜郡城東岸作小樓自居，題曰退省庵。時往母墓及查江家廟，布衣青鞋，不設輿衛。補制滿，竟不出；種樹灌園，有終焉之意。
而自公之歸，長江水師規制浸弛，以侈靡相尚，篙、舵工有不能操舟者；眾論至謂「水師無益，可廢」。十一年，曾文正薨，詔復起公視師。公一出，劾罷營哨官八十余人；于是，長江水師又大振。公入覲，命署兵部右侍郎，賜紫禁城騎馬。大婚，充宮門彈壓大臣。恩命稠迭，卿貳清閑，或謂公可無辭矣；公始終一轍，再疏力辭，始許。公南歸，仍命每年巡閱長江，得專折奏事；應需公費，由兩江、湖廣各總督籌備。公乃奏定巡閱長江章程：一歲自上游本籍衡州出巡，至江、浙度歲；一歲自下游江、浙出巡，至衡州度歲。于浙江西湖筑室三楹，亦名退省庵，為下游事竣休息之所；而經費即取給前存鹽道生息之款，歲支銀四、五千兩。其兩江、兩湖籌撥銀一萬兩，皆奏罷之。自是歲以為常，輕舟小艓，往來倏忽；不獨將佐畏之如神，即地方有司亦望風震懾。而民間諸不軌之徒作奸犯科、愍不畏法者，輒相驚曰：『彭宮保來』！骙瞿奔觸，伏不敢出；臺州賊黃金滿，束手來歸。威聲震動數千里，他帥莫與比也。
朝廷知公廉直，凡有大事，輒以屬公。如兩江總督左公宗棠、劉公坤一、湖廣總督涂公宗瀛、兩廣總督張公樹聲皆朝廷倚重大臣，而一經言官劾奏，皆命公察核。公平心論斷，務得其實；眾論韙之。時朝廷以洋務為重，巡江之外，又命出海會操各省兵輪船；公則以清吏治、嚴軍政、端士習、蘇民困為自強要策，制船、造器皆為末務。七年，詔公署兩江總督，辭。八年，京察一等。九年，補兵部尚書，辭；不允。其后，京察又列一等；以既開缺之侍郎、未任事之尚書而三載考績與焉，異數也。
法、越戰事起，朝議以廣東海防尤要，詔公酌帶舊部，速往廣東。適有疏乞養病；至是，力疾請行。調湘軍四千，由海道往；自由衡州單騎入粵。審度形勢，以虎門為第一重門戶；由虎門而進至常洲，為省城第二重門戶。自此而進，左則漁山、珠山，是為北路；右則海心岡、大黃囗〈氵窖〉，是為南路。公無事駐大黃囗〈氵窖〉，有警駐虎門；省城官吏為公治行館，不居也。支帳為棚，蔽以蕉葉；風雨沾濡、暑日蒸炙，與士卒共之。維時省中議者以虎門遼闊難守，不如退守黃埔。公親往履行，見虎門以外即零丁洋大海，浩瀚無涯；而屈曲清流，實止一線。無論帆船、輪船必循此線而進，進則必經由沙角山下。公發健兒鑿穿山石，以為炮洞；兵隱其中，敵不得見。十三年冬，民間爭傳夷人將以明年正月犯粵；公自駐山上，令暮夜不得有一舟入口。至除夕，有舟入焉；發炮擊之，帆桅俱斷。于是遐邇咸知所守實扼險要，狡敵寢謀，粵境安堵。虎門以外，尚有橫門、崖門及虎跳、磨刀諸門，可繞至省城之右；公編查沙戶漁船數千艘，分守支河汊港。而瓊州者，近接越南，尤夷所必爭，初擬自往；士民吁留，乃令道員王之春往。議者徒謂公以平素威名攝服夷人；而不知規畫周詳，有如此也。和議將成，公抗疏力爭，謂有五不可和：『法夷無端生釁，不加懲創，遽與議和：不可者一。法夷未受懲創而請款，是必中藏詭譎：不可者二。法夷不索兵費，但求越南通商，恐將必有十倍取償于后者：不可者三。以外強中干之法夷，不問其罪，降心就和，諸夷必環向而起：不可者四。云南物產富饒，為西人垂涎，若與議款，必許通商，廣傳邪教以張羽翼；一旦竊發，將何以支：不可者五』。又言有五可戰：揣敵情而可戰者一，論將才而可戰者二，察民情而可戰者三，采公法而可戰者四，卜天理而可戰者五。然朝議意主柔遠，不果用。公又嘗密飭道員鄭官應親赴暹羅，約令潛師襲法人占踞之西貢；又欲率全部十四營由欽、廉度十萬大山過五峒，出越南收復北寧。此二者，或咎公之輕發；不知當日實因諒山、興化諸軍早經撤入關中，故二策皆不可行，非公策之不善也。治軍之暇，留心粵東利弊。請豁攤捐，以免賠累；核厘捐，以杜侵漁；補署差委，務宜公平；著名劣幕，概予驅逐：皆于吏治有益。及議和成、軍務畢，又陳善后事宜。請海軍總統駐扎吳淞，分設兩大鎮，一駐南洋、一駐北洋，而練陸軍以輔之。東三省宜創設兵輪、購配槍炮，分置要隘，以杜俄人窺伺。臺灣宜練土勇，簡任賢能，專任其事：皆深識遠慮，所見者大。
公前在西湖，得偏枯之病；在粵三年，感受瘴癘，宿疾大發。自粵北歸，至不能飲食、言語，行步須四人扶掖。連疏乞休，皆慰留。至十四年，始允開兵部尚書缺，俟病痊仍巡閱長江如故；而公病已不可為矣。公卒，年七十有五。娶鄒氏、子永釗，皆先卒。有孫四人。其第二孫曰見綏，以后其弟玉麒；故詔書不及焉。
公性豪邁，善飲；喜燕客，而自奉至薄。不御肥甘，旁無姬侍，惟一、二老兵給事其旁。遇部下舊將，若布衣昆弟；而紀律極嚴。安徽有候補副將胡開泰召倡女飲，使妻行酒；妻不可，殺其妻。又有湖北忠義營營官副將譚祖綸誘劫其友妻，用計殺其友。治兩獄者相持未決，公召至，詰得實，立麾出斬之；軍中股弁。性喜文士，折節下之。工畫梅，海內傳者近萬余本；公歿未久，即有以二十金易一幅者。能詩文，下筆立就。所為奏疏，皆自屬稿；與人書，亦不假手記室：敷暢條達，忠義之氣溢于楮墨間。是以易名之典，略其功業而獨表其性情；上之于公，有特鑒矣。敬本斯意，而為之銘。銘曰：人之生直，其為氣剛；剛則近仁，直大以方。明明天子，知公特詳；錫此二字，紀于太常。公之故舊，私議其旁；情性似矣，功業未彰。豈知功業，非公獨長；即在當時，并稱彭、楊。至于性情，日月爭光；睥眤宇宙，笑傲侯王。直如矢笴，剛若箭铓。同時元老，令名孔臧：曾曰「文正」、左曰「文襄」；歷觀史策，后先相望。公曰「剛直」，自古未嘗。皇朝謚法，稽之舊章；曰「剛」、曰「直」，莫克兼當。惟帝知公，特筆褒揚。傳千百世，久而彌芳；朝野共識，婦豎不忘。辟除魑魅，激發忠良；「剛直」之澤，永永無疆！
——見「續碑傳集」卷十四「光緒朝部院大臣」。