１８６１年，太平軍定都南京后，久攻上海不下，又起內(nèi)訌，實力削弱，清廷催促曾國藩趁機拿下南京。此時，久被太平軍圍困的上海士紳派人向曾國藩乞師。曾國藩對援兵上海頗為猶疑，后來原定的主將曾國荃又因一心拿下南京之役的頭功，不肯領(lǐng)兵。時為曾國藩幕僚的李鴻章卻從中看到了獨立崛起的前景，主動請纓。機遇就這樣落到李鴻章頭上。
　　
　　李鴻章“于眾疑處而不疑”，自告奮勇援師上海
　　
　?。保福叮蹦辏吩?，當(dāng)李鴻章重新來到曾國藩身邊的時候，太平天國之役正處在一個關(guān)鍵的轉(zhuǎn)折點上，形勢發(fā)生了微妙的變化——湘軍已奪回了安徽省城安慶，控制了長江中游的局勢；在南京周圍，有曾國藩的九弟曾國荃部重兵壓境；太平軍建都南京后沒再大軍北上，直逼北京，而是派小部隊北去意思意思，把重點改為進攻長江三角洲，去中國最富庶的地方——鎮(zhèn)江、常州、常熟、昆山、蘇州、上海，撈實惠去了。但是他們在上海遇到了前所未有的激烈抵抗，幾次攻城不下，上海租界里的英法聯(lián)軍，還有洋槍洋炮武裝起來的機動部隊（洋槍隊），以及少數(shù)清軍，不那么好對付。同時，太平軍上層內(nèi)訌，大開殺戒，先自削弱了不少戰(zhàn)斗力……這就給曾國藩以可乘之機。清廷一看有“苗頭”，忙不迭催促曾國藩，乘勝追擊，力爭一舉拿下南京。但這時，在上海城內(nèi)被太平軍圍困了很久的商人和士紳們，感到吃不消了，他們的生意和生活已經(jīng)受到極大的影響，怕夜長夢多，上海一旦陷落，整個江南必不可收拾，于是派代表來討救兵了。
　　
　　１８６１年１１月８日，上海官紳厲學(xué)潮、錢鼎銘等人，代表被太平軍圍困在上海縣城里的商人和士紳，乘外輪來到安慶面謁曾國藩。他們遞上蘇州宿儒馮桂芬的一封長信，信中馮桂芬認(rèn)為，上海一地戰(zhàn)略地位極為重要，一旦不保，將貽害全局。目前上?！皩⑶颖瑁┫Σ豢墒选钡臓顩r，而上海物華天寶，月可征得餉銀數(shù)十萬兩，若落入太平軍手中則天下更無太平之日了。目前乘太平軍內(nèi)訌之際，官軍大可與洋人的“洋槍隊”配合，克敵制勝。錢鼎銘等人甚至聲淚俱下，叩頭乞師。
　　
　　當(dāng)時曾國藩和清廷的眼光只看到南京就在眼前，急于發(fā)重兵拿下南京，沒有看清蘇浙兩地大有鉗制南京的后勁，所以起初曾國藩對開赴上海頗有些疑慮，一是擔(dān)心上海地方太遠，宛如“飛地”，一旦形勢有變化，“聲援不相達”；更重要的是，上海一地，南面和北面已被太平軍占領(lǐng)，而東面是大海，在軍事上是個“死地”，沒有回旋的余地，萬一失利反而不合算，因此猶豫再三。
　　
　　而李鴻章鬼才心眼多，他從豐富的餉源看到了士卒作戰(zhàn)的積極性，從太平軍大軍攻城不下，看到了上海的“人氣”，甚至看到了“以滬平吳”的前景，所以極力慫恿曾國藩派兵前去。曾國藩最初的計劃是讓曾國荃當(dāng)主將，而配以李鴻章和左宗棠為副手分兵援滬。他在給曾國荃的信中寫道：“上海為蘇杭及外國財貨所聚，每月可得厘捐六十萬兩，實為天下膏腴?！闭l知曾國荃的見識還遠不及他大哥，他不理這一套，一心要在拿下南京上創(chuàng)建頭功，這就給了李鴻章一個歷史性的機遇。
　　
　　有一天曾國藩召集湘軍將官開會，商議援滬事宜，結(jié)果將官們你看我，我看你，誰也不想去那個“死地”找死。這下急壞了搬救兵的上海人，錢鼎銘遂夜訪李鴻章，以“世交”的身份再次拍胸膛，以豐厚的餉源相保證，慫恿李鴻章主動請纓。他說上海一地有的是錢，缺的是能打仗的兵和能領(lǐng)兵的將。李鴻章問他，將的標(biāo)準(zhǔn)是什么，他說，像你這樣的就行。李鴻章的高明在于“于眾疑處而不疑”，恰恰認(rèn)為援兵上海，是一個獨立崛起的好機會，于是在第二天的會議上自告奮勇，愿意編隊前去。這就是后來舉世聞名的淮軍。而在當(dāng)時，他手里還無一兵一卒，只是個曾國藩的文案（秘書）呢。
　　
　　組建淮軍，李鴻章把安徽老鄉(xiāng)的關(guān)系用足用透
　　
　　李鴻章受命編練淮軍，因前有他們父子辦團練的基礎(chǔ)，跟合肥肥東、肥西的哥兒們都混得不錯，所以數(shù)月即成。他叫他的弟弟李鶴章去家鄉(xiāng)肥東招募丁勇，把過去被打垮的攤子再收拾起來，他自己則把重點放在肥西。因為肥西歷來民風(fēng)強悍，各個山頭、豪紳、地頭蛇筑寨自保，咸豐以來更是山頭林立，號稱“民團”。他們在數(shù)年的太平軍、捻軍和清軍的拉鋸戰(zhàn)中，不僅沒有被消滅，反而越戰(zhàn)越強，形成了幾個山大王，而以張樹聲勢力最強。
　　
　　這回又是老天長眼。張樹聲的父親張蔭谷與李鴻章的父親李文安關(guān)系不錯，當(dāng)初李文安回鄉(xiāng)辦團練時，還曾把他召入幕府。有了這層關(guān)系，李鴻章自然就有了與之通話的資本，他們成了“世交”。
　　
　　終于有一天，張樹聲把周氏兄弟和劉銘傳請到了自己的圩子里，仿照桃園三結(jié)義的辦法歃血為盟，然后說，咱們兄弟這些年來很不容易，但是長期這樣當(dāng)山大王也不是回事，男子漢總得要個功名。聽說李家的李少荃現(xiàn)正在曾國藩的手下做事，正在編練淮軍，餉銀不愁，我們不如去投奔他吧。幾位兄弟想想也就同意了。于是由張樹聲起草了一封信，派人送到湘軍大營。據(jù)說曾國藩看到這封信后，興奮地拍著李鴻章的肩膀說：“獨立江北，今祖生也！”把他比做東晉的祖逖了。
　　
　　拿下了“三大王”，李鴻章又去找潘鼎新、吳長慶和劉秉璋。潘的父親被太平軍殺死后，潘正在三河鎮(zhèn)辦團練，誓死為父報仇，所以李鴻章一封信過去，他正求之不得，立馬率部前來。吳長慶的父親吳廷香是跟李文安一輩的團練頭子，與李家也算有過交往，戰(zhàn)爭中也被太平軍所殺，與太平軍有不共戴天之仇。至于劉秉璋本人，他的家鄉(xiāng)也被太平軍洗劫得很干凈。李鴻章自己的父親和妻子也是死于戰(zhàn)亂的。如此如此，李鴻章手下會聚了這樣一幫子與太平軍有殺父之仇的將領(lǐng)，官兵的情緒和戰(zhàn)斗力可想而知。
　　
　　李鴻章太明白安徽人的心性了，面子比天大，鄉(xiāng)情比地深，只要夠交情，要頭也能給。哪怕有一絲八竿子打不上的“關(guān)系”，說有用的時候就有用了。所以他盡可能把老鄉(xiāng)的關(guān)系用足用透。就這樣，他七搗鼓八搗鼓，居然歷時僅數(shù)月，就拉起了有１３個“營”的上萬人的淮軍部隊。與此同時，李鴻章還留意招募幕僚，他的安徽同鄉(xiāng)周馥（從此跟了他４０年），還有后來成為親家的蒯德模、蒯德標(biāo)這時都成了他的幕僚。當(dāng)然，跟劉秉璋更近乎些，他們從師生關(guān)系發(fā)展到同僚、親家，天下太平后，李劉兩家共配對了七門婚事。
　　
　　九千淮軍衣衫襤褸，坐英國輪船開進上海灘
　　
　　１８６２年４月５日至５月２９日，這支新組建的淮軍前后分７批，乘坐錢鼎銘等上海士紳花１８萬兩白銀租來的英國輪船，前往上海。據(jù)周馥后來的回憶說，船過南京的時候，清清楚楚地看到江邊堡壘上全副武裝的太平軍將士，一個個劍拔弩張，他們只是由于外國輪船而不敢開槍，眼睜睜讓淮軍從眼皮子底下溜過。而淮軍士兵也生怕遇到意外，一個個悶頭不敢出聲。九千淮軍，就是在這張外國“虎皮”的掩護下，到了上海前線。
　　
　　上海這個五方雜處的花花世界，此時已有了２０年的開埠歷史，滿天滿地都是勢利眼，哪能看得起這群叫化子般的淮軍呢？大概除了錢鼎銘等少數(shù)人，沒多少人會相信，這幫老土能夠打敗太平軍。李鴻章當(dāng)時駐扎在城南的徽州會館，他沉著地對部下說，不要在意那些流言蜚語，但看誰會打仗，能否打勝仗。
　　
　　他一方面嚴(yán)肅軍紀(jì)，抓緊訓(xùn)練士兵，積極備戰(zhàn)，另一方面自己也要熟悉環(huán)境，包括與在滬的中外官員“過過招”，尤其注重考察洋人的軍隊和武器裝備。他甚至不惜化了裝，混上英法聯(lián)軍的軍艦，看看洋人到底有多少實力，武器到底有多么厲害，為什么能頂?shù)米√杰姷倪M攻。不看不知道，一看嚇一跳。他在給清廷的奏折中不斷地驚嘆，人家那槍、那炮，尤其是那落地開花的大炮……哎呀，把他羨慕得只差眼珠子沒彈出來。李鴻章的聰明還在于他絕對是個現(xiàn)實主義者，從那一刻起，他就無時無刻不想著辦洋務(wù)的事：我們自己也要造槍、造炮、造軍艦！
　　
　　還沒等他去造槍、造炮、造軍艦，戰(zhàn)斗就打響了。１８６２年６月，太平軍的李秀成率萬人大軍對上海進行第二次戰(zhàn)略圍攻，形勢緊急。然而李鴻章已通過在廣東辦厘捐的大哥李瀚章，火速從香港買了三千支洋槍。關(guān)鍵時刻，當(dāng)大哥的又一次幫了他的忙。
　　
　　進入上海的第一仗關(guān)系到李鴻章的聲威和淮軍的軍威，關(guān)系到能否在上海站住腳，只能打勝，不能打敗。據(jù)說李鴻章搬來一把椅子往虹橋橋頭一坐，親自督戰(zhàn)。太平軍這時也用上了火炮，火力非常猛烈。張遇春率隊上去沒多久就頂不住了，漸漸退了下來，剛跑到橋邊，被李鴻章撞見。李回顧左右說：“拿把刀來，把他頭砍了！”嚇得張遇春不得不硬著頭皮返回去再戰(zhàn)。張遇春是淮軍最早的營號，又是李鴻章親信，在此萬分緊急關(guān)頭，李鴻章要拿他來開刀，其他將領(lǐng)看在眼里，只有鐵心死戰(zhàn)。這時程學(xué)啟部來了個里應(yīng)外合，終于擊退了太平軍。
　　
　　接下來８月和１０月，又是兩場惡戰(zhàn)，由勇猛善戰(zhàn)的程學(xué)啟部和劉銘傳部，打太平軍的譚紹光部。劉銘傳是率領(lǐng)洋槍隊上場的，打得極其過癮，大獲全勝。
　　
　　接連三個勝仗一打，是騾子是馬已經(jīng)拉出來遛過了，上海人不得不佩服這幫穿著像叫化子一樣的淮軍，中外人士不得不拿正眼來看李鴻章了。英國人的報紙也大拍馬屁，說這支淮軍是“中國最優(yōu)秀的軍隊”。清廷也大為欣慰，馬上把原先給李鴻章的那個虛銜去掉，改為實授江蘇巡撫（兩個月后，又被任命為五口通商大臣）。這樣，李鴻章就因戰(zhàn)功而當(dāng)上了江蘇省的巡撫，開始考慮如何進攻省會蘇州了。