李鴻章初到上海，就面臨太平軍第二次攻打上海。李鴻章知道，如果沒有上海，自己的一切都將化為虛無。李鴻章也知道有太多的目光關注著自己，所以他絲毫不敢懈怠。他給自己提出“不要錢、不怕死”的六字方針，時時刻刻提醒著自己、鞭策著自己。由于淮軍中大部分人都是農民，他們初到上海的時候，上海的官員商紳和外國人看到這支腳穿芒鞋、布帕包頭、土里土氣的隊伍，都忍不住哈哈大笑。他們懷疑這樣一支隊伍能否擔當起保衛上海的重任。為了自己也是為了這支剛剛建立的隊伍將來的命運，李鴻章始終對淮軍嚴格治理，加大訓練強度，整頓軍中紀律。

訓練的內容主要有陣法操練和扎筑營盤。淮軍每天在營房四周做防御工程，筑高墻，挖深溝。他們筑的墻高八尺，厚一丈，用土塊和草袋壘在外面，里面是實土。墻上還有四尺高的子墻，上面有槍眼，士兵就守在子墻上面。墻外修了壕溝，配合絆馬樁、梅花坑、鐵蒺藜等障礙物。此外，淮軍還有嚴格的體能訓練，例如要求士兵能跳上一丈高的房屋，越過一丈寬的壕溝，拋火球要二十丈遠，腿綁沙袋一天要走一百里。

紀律整頓方面，每天中午晚上各點名一次，規定士兵不許擅自出營。絕不允許吸食鴉片。李鴻章還不斷設法鼓舞士氣，士兵的精神狀態良好，都盼著快點開戰，好試試身手。

李秀成率領十萬大軍對上海進行第二次圍攻時，上海的英法聯軍一再要求淮軍協同作戰，李鴻章對他們不予理會，要帶領淮軍進行獨立的戰斗，1862年6月，上海流行瘟疫，太平軍很多人染上疾病，李秀成決定撤離上海。撤退之前，李秀成先圍攻虹橋的程學啟部。李鴻章帶領隊伍前去救援。

這是淮軍和太平軍雙方第一次交戰，當時李鴻章帶來的是樹字營、春字營等。春字營很快就抵擋不住往橋邊逃跑，李鴻章正坐在虹橋橋頭督戰。他一把抓住帶隊的張遇春對士兵下令道：拿刀來把他的頭砍了！張遇春只好又帶人往回沖。張遇春是李鴻章的舊部，是李鴻章十分信任的人。但在大敵當前的時候，李鴻章就毫不留情了。經過虹橋、北新涇、四江口三場戰役，李鴻章率領淮軍守住了上海，使得那些最初恥笑淮軍是“乞丐兵”的人開始對淮軍刮目相看。

立足之后，李鴻章開始整頓江蘇省的吏治，并多方延攬人才。李鴻章認為，江蘇和各省一樣，官場腐敗到極點，而上海尤為突出。

其特點是官吏不知禮義廉恥為何物。為了貪財撈錢，他們不惜媚外賣權，從中以飽私囊；為了滿足一己之私欲，他們相互勾結，巧取豪奪，置國法而不顧。主觀上李鴻章雖很想把江蘇一省尤其是上海的官場腐敗風氣扭轉過來，但在客觀上卻心有余而力不足。因為他初到上海，強龍難斗地頭蛇，但為了求得淮軍生存，他采取了“有選擇地加以懲治”的辦法，盡自己的能力對吏治進行了一番整頓。同時，李鴻章還起用了一批務實肯干、能力出眾的人才，例如郭嵩燾、丁日昌等人。與此同時，李鴻章開始建立自己的幕府，幕府中很快召集了一大批各種各樣有能力的人才。其中有精通數學、天文、機器制造的科學家；有懂得會計、錢谷之事的經濟學人才；有熟悉兵法懂得計謀的軍事人才等等。李鴻章用人是從實際需要出發，而且能做到人盡其才，最大限度地發揮調動幕僚們的積極性和能力。李鴻章還善于發現人才，上海那個錢鼎銘，也被李鴻章收歸旗下，讓他為淮軍辦理營務。這些人被李鴻章聚集在一起，齊心協力做好江蘇的事情，做好淮軍的事情，做好李鴻章交辦的事情。

李鴻章做的另外一件大事，就是征集軍餉。

曾國藩極力舉薦李鴻章援滬，除了單純的軍事和政治目的外，還存在著以上海稅收支助湘軍的打算。上海自五口通商以后，工商業在外國貨物的刺激之下日趨繁榮，海關洋稅的收入日漸增多，但仍入不敷出，與所需差距甚大。為了解決這個問題，李鴻章果斷采取了海關厘稅分收分用的政策。

李鴻章用關稅支付“常勝軍”、中外會防局和鎮江綠營的費用，用厘金承擔湘軍和淮軍的軍費。當時上海的厘金收取是全國最高的。厘金的稅額是按照商品價格的百分比收取，值百抽一，百分之一為一厘。李鴻章認為，從商人手中多收點錢，勝過從農民身上收稅。厘金的用途是“取之于民用之于民”，比從民間收稅更方便。在李鴻章的多方籌措下，厘金大筆地進入了湘軍和淮軍的銀庫，從而使得軍餉有專撥之款，更主動而有效地控制了餉源。不僅基本上解決了淮軍的餉需問題，還以大批金錢和物資支助了湘軍在西線戰場的作戰。

然而，曾國藩還不滿足，希望李鴻章能籌集更多的軍餉。李鴻章對于曾國藩的推舉一直心存感激，所以對于曾國藩交辦的事情盡心盡力地去做，并未因自己得勢就棄曾國藩而去。相反地，他比當幕僚的時候更加服從曾國藩，體現了顧全大局的一貫行為方式。在上海半年，李鴻章就為曾國藩籌集到軍餉9萬兩。此外，他還給曾氏兄弟送去大批武器，支持他們的軍需裝備。

當時，江蘇的吏治特別壞，其中以前江蘇布政使王有齡（時為浙江巡撫）為罪魁禍首。王有齡提拔的幾個干部如蘇松太道吳熙、蘇州知府吳云、蘇松糧道楊坊等都是貪污腐化分子。做了一番深入調查之后，李鴻章開始采取行動。他讓吳熙管理關稅，以前歸吳熙管理的厘金改由幕僚薛書常管理。接著要求吳熙要做出明確的賬目定期匯報，吳熙只好開始做假賬，以求蒙混過關。

有一天，李鴻章喝酒之后，來到吳熙家中。對吳熙說：有人說你賬目不清，現在總理衙門正要查你呢。你告訴我實話，你的賬目有沒有問題？如果你真有問題，那我想辦法幫你找人疏通一下。吳熙看李鴻章喝多了，于是心里沒有任何懷疑，拿出賬本交給李鴻章說，你看看吧。李鴻章看了一會兒說，我今天喝酒喝得頭疼，看不清楚。我回去好好幫你看看賬面怎么樣？吳熙就這樣把自己的罪證交給了李鴻章。李鴻章回去后，馬上找了幾個精通會計的幕僚仔細審核，發現了賬目中的很多問題。第二天，李鴻章就輕易地收拾了吳熙，改派黃芳和劉郇膏掌管海關和布政使司。劉郇膏以前在上海當縣令的時候的聲譽較好，被百姓稱為“劉青天”。他還是李鴻章的同年，李鴻章對他比較了解。楊坊看到李鴻章收拾了吳熙，嚇得主動辭去了蘇松糧道的職務。李鴻章把這個職務交給了自己的老同學郭嵩燾。

雖然李鴻章使用一些被他稱為“君子”的人管理財政機構，但是出于策略上的需要，他還任用了一些例如金鴻保這樣聲名狼藉的人物幫他做事，因為金鴻保同地方上的各種要人都有廣泛的關系。李鴻章需要利用這些關系維持和壯大自己在江蘇地區的勢力。此時，作為地方行政最高長官，李鴻章注意到了一個問題，就是地方經濟建設的問題。由于連年戰爭，百姓生活窮困，還有大批無家可歸的流民。李鴻章首先在戰后地區恢復農業經濟，減免田賦，還給農民發放耕牛和種子，給饑民發放米錢。在未直接受到戰爭影響的地區，向地主官紳收取新稅，用這些稅金補貼對農業費用的開支。

李鴻章還向朝廷提出舉措，指出大戶和小戶之間的稅率差別一定要改正，建議取消對大戶的一些優惠政策。李鴻章在財政管理上一直傾向于從商人、地主、豪紳的手中獲取錢財。他的這些措施多少減輕了當地百姓的負擔，人民生活狀況有所改善。但是，在整個經濟建設中，仍出現了很多問題。比如說大戶抗稅，一些貪官污吏趁機橫征暴斂，還有很多無法得到保障的百姓仍然生活在顛沛流離之中。

李鴻章還使科舉制度重新煥發了活力，他增加上海及臨近地區的鄉試名額，并在蘇州設立新科。他還在蘇州重建了兩個書院。1861年之后，忙于政事軍務的李鴻章已經很少寫詩，還放棄了收藏書法作品的愛好，而是把更多的精力放在實際工作中，放在那似乎永遠也處理不完的事情上。在以后洋務運動時期，李鴻章在給朝廷寫的一封信上說了這樣一句話：中國的士大夫每天沉醉于文章的詞句和練習寫小楷字，而武將多半是粗俗愚蠢之人。由此可見，這個時期的李鴻章已經看出：一個永遠把精力放在練習寫小楷字上的民族是不可能強大起來的。

在外交上，李鴻章盡力利用洋人勢力以為我用。淮軍抵滬之初，太平軍勢力銳不可當，李秀成的部隊包圍了上海附近的青浦，進逼虹橋，距上海城僅20公里。

上海形勢一度處于危急之中，李鴻章決定趁太平軍尚未立定根基之時，1862年6月中旬親督淮軍“春”字、“樹”字等營分路堅守苦戰虹橋、徐家匯等地。

結果連戰皆捷，三百余名太平軍將士被捕殺。隨后，李鴻章率兵進占泗涇，迫使李秀成部太平軍退棄廣富林軍處，松江之圍遂解。此戰，是李鴻章在沒有洋兵協助下的駐滬第一場勝仗，不但使清政府在上海的統治秩序得以穩定，而且使李鴻章對于統率新成立的淮軍提高了信心，同時也為淮軍在洋人面前爭得了面子。

1862年10月，正當曾國藩兵圍南京，李秀成奉命率所部太平軍由蘇州回援的關鍵時候，李鴻章勾結英法侵略軍和常勝軍合攻嘉定獲勝。不久，李鴻章又親赴前線調集常勝軍和淮軍各路與太平軍激戰于四涇口處，迫使太平軍譚紹光等部再次退回到蘇州。

通過此次戰役，淮軍進一步鞏固了上海周圍的統治地位。與此同時，李鴻章加緊對東線太平軍的瓦解工作。1862年，李鴻章利用早就與太平軍敗類暗約里應外合的徐佩瑗等人密謀策劃，蓄意制造太平軍內亂。太平軍將領譚紹光發現有異，逮捕了徐佩瑗，但駱國忠于1863年1月發動叛亂。此時，李秀成從天京返回蘇州。針對這種情況，李鴻章采取了四處出擊戰術，一面令駱國忠堅守常熟，一面攻打太倉，于5月攻占太倉。太倉失守后，李秀成部被迫放棄原定“進北攻南”計劃，趕回救蘇州。1863年6月，李鴻章決定采取兵分南北中三路，“以剿為堵”“規取遠勢，以剪蘇州枝葉，而后圖其根本”的戰略。

這個戰略計劃在獲清政府允準后，各路展開了全面合圍蘇州的攻勢。太平軍方面，李秀成從天京趕回蘇州制定了兵分四路進攻上海、昆山、常熟、江陰的主動破敵計劃，但由于太平軍內部分化，此計劃未能付諸實施，太平軍陷入消極防御，被動應戰境地。

1863年7月，蘇州與杭州的陸路通道被常勝軍和淮軍程學啟部切斷；9月，江陰又被淮軍李鶴章、劉銘傳部攻占。11月下旬，各路淮軍與常勝軍配合，猛攻蘇州婁門，但久攻不下，于是李鴻章策動太平天國納王郜永寬等于12月發動叛變，殺害了譚紹光及手下兵將數千人，郜永寬等公開投入李鴻章懷抱。然而，當時淮軍軍心不穩，加之蘇州城內尚有十萬太平軍立誓決一死戰，李鴻章背信棄義，把郜永寬等投誠兵將統統殺了。這時，李鴻章因功被清政府賞賜太子少保銜。

后期太平天國政權失去外圍最后一個堅強軍事據點蘇州后，使得清軍能集中兵力圍攻天京。天王洪秀全錯誤估量形勢，仍決定固守嬰城，與清軍硬拼到底。1864年5月，李鴻章采取主動的戰略部署，攻占了常州。隨后，李鴻章感到太平軍敗局已定，于是除了把“常勝軍”精銳歸為己有外，其余的都盡行遣散。

李鴻章在蘇撫期間，還與趙家締姻，完成了再婚這樁終身大事。他的原配夫人周氏生有二女，名曰鏡蓉、瓊芝，因膝下無子，其弟昭慶便把經方（李昭慶之子）過繼給他。1861年夏，李鴻章在重返曾幕路經萬年（江西饒州府）時，曾賦詩寄懷，詩云：

半生失計從軍易，四海為家行路難。

唯有嬌癡小兒女，幾時望月淚能干。

阿爺他日卸戎裝，圍坐燈前問字忙。

天使詩人臥泉石，端教道韞勝才郵。

他以生動的筆觸，抒發了投筆從戎、前路崎嶇的感慨和思念女兒的骨肉之情，反映了渴望早日結束戰亂、重享天倫之樂和嬌女成長為像東晉女詩人謝道祖那樣“詠絮才”的心聲，情真意切，凄楚動人。不料，是年9月周氏去世，兩個女兒失去了母親，愛妻去矣，嬌女孤，突如其來的打擊，使李鴻章肝腸憂煎，感傷不已。在此后的兩年多時間里，由于戎馬倥傯，使李鴻章無暇顧及個人婚事。1863年12月，李鴻章在奪取并移駐蘇州之后，認為蘇南戰事即將勝利結束，重建家庭的時機已經到來，因而便于1864年1月迎娶趙氏為繼室。

智者當以大局為重

湘軍攻打天京許久了，一直沒有什么結果。清政府看到淮軍作戰有力，便讓李鴻章部前去協助。在解散“常勝軍”后，李鴻章本可以全力以赴會攻天京，而當時統軍攻打天京的湘軍大將，正是曾帥的胞弟曾國荃，他害怕因分功而得罪曾國藩，于是僅派遣淮軍劉士奇炮隊及劉銘傳等營援攻天京，他本人及淮軍主力卻駐防天京外圍一帶。說起曾國荃，他和李鴻章還有一點小過節。

早在李鴻章剛投奔曾國藩的時候，曾國藩派李鴻章去曾國荃處辦理營務。李鴻章為了對這位老師的弟弟表示尊重，特意拿出一把紙扇，請曾國荃題字留念。曾國荃居然得意洋洋地寫了“門多將相文中子，身系安危郭令公”十個字，而且字體欠佳，歪歪扭扭。李鴻章看了之后嗤之以鼻，心想你不過是個秀才，還敢自比郭子儀！真是大言不慚。所以沒待幾天他就告辭了。