司馬遷出使西南回來后，正趕上漢武帝到泰山舉行封禪大典。這是百年不遇的盛事，作為太史令的司馬談卻因為生病滯留在周南，憂憤之下病情加重，臨死之前他拉著司馬遷的手哭著囑咐道：“我們的先祖是周朝的太史令，遠在上古虞夏之際便功名顯赫，掌管天文，后世才逐漸衰弱，難道如今要斷絕在我手里嗎？如今天子繼承千年盛舉，舉行封禪大典，我卻不能同行，這難道是命運對我的捉弄嗎？我死之后，你一定要繼續擔任太史令，不要忘記我要撰寫的著述。人生以孝為本，孝始于奉養雙親，其次為侍奉君王，最大的孝是立身揚名。揚名后世來顯耀父母，才是最大的孝。世人稱頌周公，就是因為他能作詩歌頌文王、武王的盛德，頌揚太公、王季的深謀遠慮，乃至先祖公劉、始祖后稷的功業。周幽王、周厲王之后，王道衰敗，禮樂衰微，孔子編撰、整理文獻典籍，修訂《詩經》《尚書》，編撰《春秋》，學者至今仍奉為寶典。自從魯哀公獲麟已有四百多年，諸侯相互兼并，對歷史的記述變得殘缺不全。如今漢朝興起，海內統一，有明主賢君和無數忠臣義士，我作為太史令卻未能予以評論載錄，斷絕了天下的修史傳統，對此我很惶恐，你可要記住啊。”司馬遷流著淚把父親的臨終叮囑牢記心中。

兩年后，公元前108年，司馬遷果然繼任為太史令，有了職務上的便利，他開始查看和研究收藏在金匱石室（以金為匱，以石為室，重緘慎封）的皇家檔案文書。公元前104年，他受命與公孫卿、壺遂等人創制《太初歷》，把每年的歲首由十月改為正月，完成了一項復雜的歷法修改。此后他曾隨從漢武帝出巡，到過長城、黃河等地，而尊父親遺命對歷史的整理也已同時進行，為此司馬遷幾乎投入了全部精力，斷絕了賓客交往，顧不了家庭事務。司馬遷說：“周公去世五百年后有了孔子，孔子距今也已經有了五百年，到了繼承孔子的事業的時候，整理《易經》，續作《春秋》，根據《詩經》《尚書》《禮記》《樂禮》的修訂原則，對歷史加以編輯、整理。我，晚輩司馬遷當仁不讓！”

很多人對司馬遷創作《史記》很不理解，上大夫壺遂就問：“當初孔子為什么要撰寫《春秋》？”司馬遷回答：“孔子知道自己的主張已經難以施行，王道難以恢復，于是將魯國242年的歷史編輯為《春秋》，希望天下的讀書人從中可以得到啟發，通過褒貶諸侯，申斥大夫以達到宣揚王道的目的。《易經》記述的是天地、陰陽、四季、五行在變化中辯證發展，以事物的變化引導人；《禮記》闡述綱紀人倫，注重于行，強調人的欲望要克制；《尚書〉記述先王經歷的事情，注重于政，闡述先王治國理政的經驗，《詩經》描繪山川、溪谷、鳥獸、草木、牝牡、雌雄，注重于風俗，描繪人的情感；《樂禮》是一門經學，注重于社會和諧，強調社會需要和諧。《春秋》闡述禮義的重要，撥亂反正，沒有比《春秋》更有說服力。《春秋》內容有數萬言，列舉的事例有幾千件。各種情況在《春秋》交匯出現。《春秋》記述弒君的事件有36起，亡國的事件有52起，諸侯國君逃離封國，社稷得不到維護，各種變故難以計數。考察這些變故發生的原因，都是因為拋棄禮義。因此說，《春秋》集禮義之大成。禮防止罪惡發生，法只能在罪惡發生后發揮作用。法的作用容易認識，禮的作用容易被忽視。”

壺遂繼續問：“孔子的時代，上無圣明的君王，忠臣得不到重用，所以才會編撰《春秋》，用空洞的論述確定禮義的標準，當做一代帝王的法典。如今您上有圣明天子，下負有重要責任，朝野上下人盡其能，萬事俱備，您的論述是想要說明什么？”司馬遷回答：“不完全是這么回事。我聽先人說：‘伏羲最溫和厚重，作《易經》八卦。堯舜的盛德，《尚書》做了記載，禮樂在那時興起。商湯周武時代的隆盛，受到詩人贊頌。《春秋》褒貶善惡，推崇夏、商、周三代的德政，維護王室的權威，并不完全是為了諷諫。漢建國以來，直至當今賢明天子，祥瑞多次顯現，舉行封禪大典，確定正朔，改變服色，普施恩惠，域外百蠻通過多重翻譯前來朝賀，朝廷百官群臣都在盡力歌功頌德，仍然不能表達心意。賢士有才能得不到重用，是國君的恥辱；明君的圣德得不到宣揚，是史官的過失。我負責這項工作，不能將皇上的盛德載入史冊，將功臣、大夫創立的功業詳細記錄，予以評述，辜負先人的囑托，這是我的罪過。我記述的事跡全部是按照順序還原歷史，是在整理史料，不是創作。您拿它與《春秋》比較，您理解錯了。”