吳長慶是安徽廬江縣人，在太平天國起義的時候，中原地區的捻軍與太平軍遙相呼應，四處攻打清朝的地方政權。吳長慶和他的父親舉辦了團練，進行地方自保。吳長慶因為軍功后來升到了總兵、水師提督，當時人們把他的部隊稱為“慶軍”。

吳長慶與孫云錦有通家之好，年齡也比孫云錦大些。他器重孫云錦的學識和品行，在駐軍江蘇浦口期間，經常自浦口輕車簡從到孫云錦處來談些時事經緯。

吳長慶也常聽孫云錦說起張謇這個人，有時看到張謇的文章，覺得張謇也確非凡才。

張謇離開發審局的事吳長慶很快就知道了，他親自到惜陰書院拜訪張謇，同時盛情邀請張謇到他的軍營中小住。這讓張謇感動不已。

吳長慶為人仗義疏財，禮賢下士。張謇后來曾寫文章稱贊他道：“愛士而門左千客，門右千客；羅賢而朝拔一人，暮拔一人。”他的幕府中學者、名人可以說不可勝數，頗得當時清議的好評。

張謇受到他的禮遇，心中又涌起了投身于他，做一番大事業的雄心。他在詩文中表達自己的愿望：“駿骨從來能得馬，好收騏驥共殊勛。”

他希望吳長慶能夠成為朝廷振興的有為之臣，期望他像三國時期的盧植那樣“高勛照圖丹”，也盼望自己能在追隨吳長慶的過程中，青云直上，“朝魚而暮龍，功名蛻侯伯”。

在吳長慶的一再邀請下，張謇大約于光緒三年（1877）六七月份投入了慶軍，做起了吳長慶的幕僚。吳長慶對張謇入幕非常高興，他每月給張謇俸銀20兩，讓他參與軍中要務，起草重要函牘，又在府宅后為他構筑茅廬5間，讓他能靜心讀書和辦理公務。

入幕的生活閑適而安定，他除了負責軍旅日常文書之外，仍然師從張廉卿先生學習古文。在慶軍中，他還結識了同在慶軍幕府的泰興朱銘盤、武進何眉孫、海門周嘉禾等人，彼此之間常詩酒唱和。在這期間，由于他才華出眾，還得到了兩江總督沈葆楨、學使夏同善等人的賞識。

光緒五年（1879），張謇的生母金太夫人去世，臨終時告誡張謇：“科舉是出人頭地的歸宿，為了光耀門楣，一定要科考求成。但你性剛語直，最好不要當官。”慈母的遺言，張謇深深地記在了心里。

光緒六年（1880），吳長慶升任浙江提督，奉命進京陛見，張謇作為隨行人員同赴北京，張廉卿因為有事去濟南，與他們一道同行。一路上，張謇看到張廉卿先生在顛簸的騾車中手握牙管懸肘苦練書法的刻苦精神，深受感動和教育。

到了山東，吳長慶一行登泰山，觀岱廟。張謇還為吳長慶在山上題石留念：“光緒六年四月，浙江提督廬江吳長慶入覲道此，偕樂平彭汝云、崇明楊安震、通州張謇登岱陟頂，慶于茲山凡六游，而陟頂且三度矣。”

張謇到北京后，趁著空閑的時候，游覽了紫光閣、陶然亭、龍泉寺等名勝，他在這里還結識了桐廬袁昶等名士，看著他們氣象儼然的樣子，他自己也有了鴻鵠高翔的感覺。

吳長慶在北京覲見光緒皇帝后，一行人旋即南下。他們在到達天津后即乘船浮海返蘇。

這時，張謇的學問也是日精月深，他已經由經入史，深讀《史記》《漢書》，逐漸領會司馬遷、班固通經治史的要義，但是這期間他兩度鄉試，卻名落孫山。

光緒六年（1880）冬，吳長慶調補廣東水師提督，并奉命督辦山東海防，兼幫辦山東全省軍務，吳長慶率軍到了登州，張謇隨軍前往。在登州他登臨蓬萊閣，耳聞近處驚濤拍岸，遠眺水天一色，他寫下了這樣的詩句：“微聞玉帛方修好，卻倚危欄日聽濤。”

吳長慶到山東后，經常與張謇等人籌劃海防，但是和戰大計都操于清朝廷，山東海防計劃常淪為空談，吳長慶名為守邊，實是賦閑。

張謇眼看國勢漸頹，每日雖與同事漫步海灘，表面上顯得清閑，心中卻充滿著苦悶，有他當時寫下的詩文為證：

錦衣仗節空都護，墨绖臨邊有上卿。

坐使積薪仍厝火，犧牲玉帛任尋盟。

他對權臣誤國痛恨之情字字可見。這時候他開始更認真地學習《老子》《莊子》等黃老無為之學，尋求解脫。