在湘軍高級首領中，對于曾氏來說，要論淵源最深、私交最厚、幫助最大的，沒有人能超過胡林翼了。

早在道光二十一年六月初一日，曾氏的日記中便有“走內城云閣先生處吊唁”的記載，云閣即胡林翼之父胡達源。胡達源五月二十五日病逝于京城。五天后曾氏即去吊唁，可見曾氏與胡家關系密切。那時曾氏三十一歲，胡三十歲。

咸豐二年底，曾氏在長沙組練湘軍。他寫信給在貴州任黎平知府的胡林翼，信中說他與江忠源、左宗...