曾國藩思念家中的親人，家人也同樣盼望著久別的他能夠盡早團圓，只是兒女私情跟國家大事比起來，總是顯得那么渺小。家中老人為了不妨礙兒子的前程，給曾國藩寫信時告訴他，讓他一意服官，不必掛念家中之事。

不久，曾國藩連升三級，升任內閣學士兼禮部侍郎。

道光二十九年（1849年），曾國藩的父親曾麟書年屆六十。按中國人的傳統習慣，花甲之年屬于大慶，應該把壽辰辦得更風光。在京城的曾國藩又不能自已，決定明年請假回鄉再辦。曾國藩雖然急切地盼望回歸故里，但這次依然沒能成行。不久，祖父病逝的消息從湖南老家傳來。曾國藩聞訃后請假兩個月，在京中寓所穿孝，以托哀思。

咸豐二年（1852年）6月12日，曾國藩在焦急不安中被欽命充江西鄉試正考官，奏準回籍探親。江西毗鄰湖南，距湘鄉尤近。因此，曾國藩次日遞折謝恩時，奏請試竣后賞假兩月回籍省親。咸豐允準。

6月24日，滿懷著為朝廷取士的“熱望”和與家人久別重逢的喜悅，曾國藩馳驛而行。繁華的京城和威嚴的紫禁城被遠遠地留在了身后。他不會想到，這一次離京，一別就是十幾年。他也不會想到，時代的激蕩把他引向另一條道路。他更不會想到，這一次離京，儒生真的羽化成“蛟龍”，他的命運已與大清朝息息相關。

曾國藩乘坐官備驛站，經直隸，過安徽，經過一個月的旅行，于7月25日，行抵安徽太和縣境的小池驛時，接到了母親江氏已于6月12日逝世的訃聞。曾國藩想起十幾年前的分別竟成永別，想到操持一生的母親臨終前竟沒有見到身穿二品官服的兒子，他痛心不已，遂調轉方向，由九江登船，急急奔回原籍奔喪。

曾國藩一到湖南，滿耳朵聽的是太平軍節節北上，清軍抵擋不住，形勢如何緊迫的風聲。實際上，在曾國藩逆長江行至漢陽時，湖北巡撫常大淳便告訴他：長沙已被“粵匪圍困”，只得由水路改走旱路，經湘陰、寧鄉而達湘鄉。四十二歲的曾國藩扶棺痛哭。9月22日，曾國藩的母親江太夫人被安葬在下腰里宅后。此時的太平軍已銳不可當。

回家奔喪，本該好好祭悼生他養他，一別十幾年，臨終又未得見上一面的慈母。但是，這些卻被太平軍北進的消息沖淡了。長沙之圍雖解，但太平軍是主動撤圍，意在加快北上的速度。不久便攻克岳州，攻占漢陽、武昌。太平軍所到之處，清軍不是一觸即潰，就是聞風而逃。

咸豐二年（1852年），太平軍出廣西，入湖南，連克州縣，湘省各地“會黨蜂起應之”。8月，太平軍圍攻長沙，全省震動，地主富豪紛紛逃命，郭嵩燾兄弟及湘中名宦左宗棠兄弟也率眷屬避入玉池山梓木洞。年底，太平軍兵指湖北，水陸并進，“帆幟蔽江，所過城鎮，望風披靡”。

與太平軍的勢如破竹相反，清軍一觸即潰，接連丟失重要城池，大有土崩瓦解之勢。這一年年底，太平軍以地雷轟塌武昌城墻，遂克武昌。這是太平軍攻下的第一座省城，舉國為之震動。眼看江南半壁江山換了顏色，咸豐皇帝氣急敗壞。雖然他早就知道八旗兵與綠營兵軟弱渙散，但沒想到竟如此不堪一擊。前方局勢的急轉直下，促使清廷高層不得不尋找另外的救急之策，這就是令各省在籍的大臣舉辦團練，自衛桑梓。

咸豐皇帝讓曾國藩留鄉辦團練既有一般性又有他特殊的背景。

此時，太平軍勢力浩大，清軍無力對抗，清政府下令地方官舉辦團練，尤其命令回籍的官員為團練大臣，利用人地兩熟，在地方又有號召力的官員組織地方武裝，對抗太平軍。如：1852年9月，任命刑部尚書陳孚恩為江西團練大臣；1853年2月，任命在家養病的廣西巡撫周天爵為安徽團練大臣；不久，又命工部侍郎呂賢基辦團練。僅僅1853年3月到4月，就先后任命四十五人為團練大臣，僅山東一省就有十三人，曾國藩也是在這時被任命為湖南團練大臣的。

咸豐二年十一月末，咸豐在給湖南巡撫張亮基的諭中說：

丁憂侍郎曾國藩，籍隸湘鄉。于湖南地方人情，自必熟悉。著該撫傳旨令其幫同辦理本省團練，搜查土匪事宜，必盡心不負委任。

中國封建社會歷來講究“以孝治天下”，清代更有明文規定，無論多高職務的官員，父母死了必須離職守制。如果朝廷特別需要這位官吏，必須發特詔命其不必去職，以素服辦公，不參加吉禮；或于守制尚未期滿之時，即令復職，這種制度稱為“奪情”。

不過，此時的曾國藩是有所顧慮的。其一，這時出山，有違孝道。亡母尚未安葬，若此時出山，必有違丁憂離職守制大禮。一直以來，自己整天都滿口滿紙的忠孝仁義，若也違制，天下人難免會恥笑。其二，投筆從戎，心里沒底。自己只是一介文員，并不懂兵法，假如現在投身戰場，肯定會有巨大磨難，一旦辦理不善，可能連官職性命都保不住。其三，手中無兵，官場復雜。他對清朝的官場腐敗是有著深切認識的，明白要辦一事，處處荊棘，若是率兵打仗，要人、要槍、要餉，就必然會同上下各級發生糾葛，辦起事來一定困境重重，束手縛腳，舉步維艱。

考慮到了種種難處之后，他便一邊寫信拒絕了張亮基的邀請；一邊寫折子，讓張亮基代發，辭謝皇帝的圣意，并請求在籍守制三年。

沒想到，就在這個時候，太平軍攻克了武漢，很快就要反攻湖南。這使得剛坐到湖南巡撫寶座上屁股還沒熱的張亮基急得像熱鍋上的螞蟻，立馬命郭嵩燾連夜趕往曾家，勸說曾國藩出山。

恰巧在這一天，好友郭嵩燾趕到湘鄉為曾母吊唁。縣令朱孫詒清楚郭與曾的關系非常，故不敢怠慢，立即傳官轎送郭嵩燾前往曾家。120里的路，郭嵩燾趕到曾家時已是深夜。兩人秉燭暢敘，當談及時事時，曾國藩說自己要守制，不能出來主持團練。郭嵩燾說，素知曾國藩野心勃勃，以整治封建秩序為己任，現在面臨“亂世出英雄”的機會，你為什么不大大施展抱負，盡忠皇帝呢？郭又拿出“古已有之”的例子來說服曾國藩，情真意切，不可言表，給標榜“忠孝”的曾國藩一個很好的臺階下，但曾國藩為了表示盡孝的“決心”，仍表示不同意。郭嵩燾又反復與曾國藩的父親談“保衛家鄉”的大道理，曾父認為講得對，便把曾國藩叫到面前教訓了一番。曾國藩這才應允。但多日不見起行。郭嵩燾又同他的弟弟郭昆燾一同前往曾家勸說，但曾國藩卻以郭氏兄弟入幕參贊其事為先決條件，郭嵩燾只好答應。此后四年，郭嵩燾大部分時間都在曾國藩幕府中度過，成為湘軍初創、曾國藩“大業”初起時的主要人物之一。

除了“忠”“孝”不能兩全的矛盾外，曾國藩還是一個十分務實的人，他深知自己講理學、佐朝政尚可稱職，而對于兵法陣戰、練兵打仗可以說是個外行，而且，打仗是人命關天的事，與寫寫文章不同。尤其是現在朝廷讓地方鄉紳自籌餉項，而自己平素所交之人，大多貧寒之家，拿不出銀子，也招不到兵、勇。因此，當鄉間名流好友及巡撫大員一再請他出山時，他最初均表拒絕。咸豐二年十一月，他就在寫給劉蓉的信中，將他之所以遲遲不赴團練局的原因一一寫明。

曾國藩辦事講究條理，往往從最根本處講求。讓一個身帶墨孝的人出入鄉紳富戶之家，是對先人不孝，對他人不恭。況且，他的“人力資源”對于籌集餉項可以說沒有大補。但是曾國藩又是一個有責任感的人。他對劉蓉說：“國藩居湘鄉之土，為湘鄉之民，義不可不同心合力保護桑梓，擬于百日之后前赴縣門，以明同舟共濟之義。”隨即提出自己的意見：“鄙意以為壯勇貴精而不貴多，設局宜合而不宜分”，認為“但得敢死之士四百人，則固可以一戰。”

12月15日，曾國藩又給他的內兄歐陽秉銓寫去一信，請他前往京師，幫助將家眷接回湘鄉，他還說自己在家服喪僅滿四月，家中諸事尚未料理，此時若立即出山辦理官事，則不孝之罪滋大。“且所辦之事亦難尋頭緒，若其認真督辦，必須遍走各縣，號召紳耆，勸其捐資集事，恐為益僅十之二，而擾累者十之八；若不甚認真，不過安坐省城，使軍需局內多一項供應，各官多一處應酬而已。再四思維，實無裨于國事，是以具折陳情，懇乞終制。”為了取得昔日友好對他內心苦楚的理解，他還將折稿寄到京師，請內兄轉交“相好中如袁、毛、黎、黃、王、袁、龐諸君，盡可令其一閱。此外如邵蕙西、李少荃、王雁汀、呂鶴田有欲閱者，亦可一閱。蓋欲使知交中諒我寸心，不必登諸薦牘，令我出而辦事，陷于不孝也。”

由此可見，曾國藩對出山辦團練的困難考慮得十分細致、具體。這也可以看出他是一個務實的人。

在領命前去經辦團練之前，曾國藩首先要安頓好家中之事。獲知曾國藩要出山后，他的四個弟弟都要求隨他離家參戰，但他只答應帶曾國葆一人離家，并叮囑曾國荃、曾國華先在家守孝，等待更佳的時機再出來幫忙。

一切安排停當后，曾國藩再祭母靈，請求逝世的母親的在天之靈能諒解他難盡孝道之舉。為了對國家盡忠，他決定“墨绖（dié）出山”，去迎接那不可預知的未來。