二 南官五年
成年后，米芾開始仕宦游歷。熙寧三年（1070），米芾二十歲時，取字元章。古人名與字多互為表里，米芾此時仍用初名米黻，“黻”為官服紋飾，“元章”亦具紋飾美好意，其名與字皆具備出仕與文采之意，足見其父“親儒嗜學”，漸至博洽。芾母曾侍奉高太后，又或曾為神宗乳母，神宗僅長米芾三歲，少時二人皆在邸，王邸雖然等級森嚴，二人偶有親密接觸亦并非不可能。米芾二十一歲時，因母恩“初補秘書省校書郎”，這是從九品的寄祿官，無權亦無須履職，但標志著他從此出仕了。此時神宗登基已四年，以母后之情補官米芾，更是順理成章、水到渠成之事。只是按宋之規章，沒有科舉出身的米芾仍只能以任子資格入仕。任子須是因其父兄有功績而得保任授予官職者，漢代已有，宋代亦然，皆須到達一定之官階且滿一定之年限后其子弟才具備以任子入仕資格。在重文之世，米芾父親本為武官，卒后獲贈中散大夫為正五品上階文散官，官位不算顯赫，米芾以任子入仕，只能是半依規章半就人情。任子入仕亦須由吏部詮試合格方得為官，原需滿二十五歲才能參加詮試，但神宗變法正需用人之際，故于此年頒詔：“任子年及二十，聽赴銓試。”[49]米芾剛好符合條件，又有君、后照顧，自不難通過銓試。不久，他便得補浛光尉，這是從九品的實職。浛光在今廣東英德，地處粵北山區，在宋代屬于上縣，是第五等的邊遠惡縣，離京城三千多里。縣尉屬最低等級之官，負責維持一縣治安和司法。米芾乍得官并初赴外任，亦不嫌職俸低微，仍欣然赴任。
時浛光縣小人稀，戶不及三千，亦無縣令、主簿，只米芾一人主事，他仍然應對裕如。米芾在浛光任上有兩年多時間，所留下可考之事有題詩作字、娶妻生子數項。初到浛光的一年，米芾只是習吏事及日常的習字、讀書為主，偶爾也游賞名勝。浛光縣境內的名勝有堯山，相傳堯曾巡狩于此，清《廣東通志》載有米芾《堯山》五絕一首：“信矣此山高，穹窿遠朝市。暑木結蒼陰，飛泉落青翠。”[50]此詩未見墨跡、石刻，別處亦未見記載，米芾既曾為官此地，應有可能是他所作。第二年（熙寧六年，1073）七月，二十三歲的米芾由浛光南下廣州，游覽了藥洲。藥洲曾為南漢離宮，有池名白蓮池，池畔有九曜石，皆高數丈。米芾有好奇石之性，于此詩興書癮俱發，故“于九曜石題‘藥洲’二大字及五絕一首。”（“曹表”）此處米芾書刻在清代被發現，清《欽定續通志》云：“米芾‘藥洲’二字，難以摹拓，未得拓本。米芾書。正書。廣州。”[51]所題五絕為《題仙掌石》：“碧海出蜃閣，青空起夏云。瑰奇九怪石，錯落動乾文。”署時為“熙寧六年七月”。此詩其文集未載[52]，陸耀遹《金石續編》卷十五錄入，并云：“石仆池中，且為榕根盤結，久久湮埋。”故諸書失載，《全宋詩》據陸編收錄。這應是米芾最早題詩書于名勝之確鑿記載，此后遂一發不可收拾，遍留題刻，僅“第一山”之題刻就有多處記載。但米芾亦算勤于吏事，《廣東通志》“廣州府”名勝謂：“米芾字元章，淮南人，為含洸尉，工書善詩，……郡中佳山水品題殆遍，而公事不廢。”[53]游玩、辦公兩不誤，可見青年米芾精力充沛、才智機敏。
米芾《硯史》云“余嘗至端”，并詳細考察了端硯產地情況。端州即今廣東肇慶，在宋代和含洸所屬的英州同屬廣南東路管轄，米芾應是在浛光任職期間曾抽空到肇慶考察。
米芾大概在此年與許氏結婚，次年（熙寧七年，1074）生下長子米友仁。按當時規定，偏遠州縣如浛光之任不能帶家屬赴任，米芾與許氏可能在原來的家中結婚，孩子亦生于家。此年是甲寅年，屬虎，故米友仁小名虎兒、寅哥，又叫鰲兒，初名尹仁，成年后，黃庭堅為他取字元暉。
在生下長子米友仁之年，二十四歲的米芾自浛光遷臨桂尉（仍從九品），赴任桂林。桂林山水奇石甲天下，真遂了米芾之愿。他于這年五月末與潘景純同游了桂林伏波山，題名石壁云：“潘景純、米黻，熙寧七年五月晦同游。”[54]現石刻仍存還珠洞崖壁。潘景純為浙江嘉興人，英宗治平二年（1065）進士及第。王安石曾有《送潘景純》七律，首聯云：“東都曾以一當千，場屋聲名十五年。”可見潘景純頗有才華。他應比米芾年長、官高，故米芾將其名題于自己之前。米芾后有《送潘景純》七律一首，首句云“五年相遇一行頻”，二人當在英德時相識，米芾將離桂林分手時作詩，剛好五年，詩表達難舍難分之情。
南宋著名文人方信孺曾于寧宗嘉定八年（1215）八月訪米芾初宦舊蹤，其《寶晉米公畫像記》云：“信孺頃過浛光，訪公遺跡，得《北山養疾篇》及□□石刻□□。來桂林復得僧《紹言詩序》及伏波巖與潘景純同游石刻。”后又云：“公遺文如《北山養疾篇》《紹言詩序》等作皆逸焉。”[55]記載已殘。可見米芾在浛光及桂林行跡、字文當還有很多，只是多已失載。今桂林還珠洞壁還刻有一幅米芾自畫像，像高一點二米，據殘存的方信孺像記一文，此畫當為其據米芾自畫像拓本翻刻，至今仍依稀可見米芾真容。桂林龍隱巖側洞摩崖尚刻有米芾與程節唱和詩，刻的是米芾書《詩送端臣桂林先生兼簡信叔老兄帥座》以及李彥弼書程節的和詩，米芾書末署“建中建國元年（1101）真州清燕堂東園書”，這是米芾晚年在儀征所作。