這個時候哥哥霍去病走了進來，說道：“快吃東西吧，別涼了”。霍光很不好意思地說：“大兄，弟弟不肖，給你添了這么大麻煩”。霍去病看了看霍光，笑著說：“都是兄弟了，還說這些，你知道錯了就好”，又說道：“處罰結束了，你趕緊吃東西”。站在一旁的嫂子，聽了這話，立馬把吃食，端到了霍光面前，霍光看了一眼嫂子，看了一眼哥哥，拿起食物，大口吃了起來。霍光已經一天都沒吃東西了，今天又碰到這么多事情，顯然是非常餓了，正狼吞虎咽地吃著。站在一旁的嫂子，看到這個情景，笑著對霍去病說道：“你看，把人家餓成啥樣了”，又對霍光說道：“弟弟你慢點吃，別噎著！嫂子去給您端點水來”，說完就出去了。
“今天和你一起的，是個什么人？”，霍去病問霍光。霍光邊吃邊回答，把周虎的情況都告訴了哥哥。“哦，以后不要和這種人一起來往了”，霍去病看著霍光說道。“不，大兄，他不是壞人，他人挺好的”，霍光張大雙眼看著霍去病說。霍去病笑了笑，說：“這種偷雞摸狗的三教九流，怎么可能不是壞人！”，又說道：“就算他人不壞，你也不適合和他往來，大兄帶你來長安可不是讓你做這些，明白嗎？你也不要辜負了父親才好”。霍光聽了這話，同意地點了點頭，說道：“好的，大兄”。“你在家的時候，父親可曾教過你讀書？”，霍去病問霍光。霍光回答說：“教我認過字，讀了一些《孝經》”。“哦，那好，我明天去請一個先生來教你讀書，你可要認真和他學”，霍去病說道。這個時候，嫂子端著水走了進來，聽了這話，說：“那樣極好了，弟弟。有空還可以陪著嬗兒在家里玩，你說呢”，霍光聽了話，同意地點了點頭。
第二天，霍去病照著往常一樣進宮面圣，漢武帝見了霍去病的第一句話，就是：“聽說你有個弟弟？”，“是的，陛下”，霍去病回答到。“以前怎么沒聽說啊？”，漢武帝看了一眼霍去病問道。“是這樣的...”，霍去病原本地把自己父親和弟弟的情況，告訴了漢武帝。漢武帝笑著說道：“難怪呢！”，又說道：“聽說他犯事了，你知道嗎？”。霍去病聽了這話，立馬跪下來說：“家弟愚笨，偷了百姓家的雞”。漢武帝看著霍去病說：“你緊張什么，快起來吧”，霍去病聽了話，站了起來。漢武帝笑了笑，說：“好小子，真有他的”，又對站在身旁的黃門宦官蘇文說：“驃騎將軍家弟偷盜，該當何罪啊？”，蘇文聽了漢武帝的話，表情有些尷尬，張嘴說了一句：“這...”，霍去病聽了話，立馬跪下說：“請陛下治臣的罪”，漢武帝大笑：“你還當真了，驃騎將軍！”，他親自扶起了霍去病，對他說：“要不，你讓他到我身邊來吧，省得他在外面瞎混”。霍去病回答說：“家弟愚鈍，讀書甚少，我正打算給他請個先生，教授《論語》，以弟弟現在的資質恐怕難擔大任！”。漢武帝聽了話，說道：“那樣也好，讓他多讀點書吧！”。
霍去病照常回了家，而今天不一樣的是，身邊跟了一位年近六旬的老者，他到家的第一件事就是，讓仆人叫來了霍光，對著霍光說道：“子孟，快來拜見先生”。霍光走近，對著老者行了個禮說道：“霍光拜見先生”。老者看著眼前這位少年，立馬說道：“快免禮”，然后又問道：“你叫什么名字，年方幾何？”。霍光回答說：“我叫霍光，字子孟，今年13了”。老者聽了話，說：“哦，好，以前可曾讀過什么書？”。霍光回答說：“在老家時，父親教我識過字，讀過一些《孝經》”。“哦，那很好，那我要教你的是《論語》，你看怎么樣？”，老者又說道。霍光看了一眼老者，說：“聽先生的便是”。“好，那我每日的辰時、巳時來教你，午時、未時你自己在家溫習，你看怎么樣！”。“可以的”，霍光看了看老者，點了點頭。老者聽完霍光的話，摸了摸下巴上的白胡須，滿意地笑了笑。站在身旁的哥哥霍去病，對著老者行了個禮，說道：“那就麻煩先生了！”，老者看著霍去病，回答說：“不礙事，只要他肯學，我就高興”，然后又說道：“那我就先告辭了”。霍去病連忙說道：“先生慢走，我送送你”，然后對霍光說：“和我一起送送先生”。就這樣，霍光和哥哥霍去病一起送走了這位長者。
第二天，老者準時來到了霍光家，霍光已經早早地站在門口等著他了。看見老者走了過來，行禮說道：“先生來了”，老者說道：“不用多禮，以后你就是我學生了”。“先生隨我來吧！”，霍光說完話，帶著老者來到了書房，兩人在案幾前，面對面就坐。西漢時期，還沒有出現桌椅，古人一般都是席地而坐，地上放一個墊子，跪著做下來，屁股坐在自己的腿上。“你的書，都準備好了吧”，老者問道。“嗯，大兄幫我準備了”，霍光回答說。“哦，那就好，你打開書，和我一起念吧”，老者說道。霍光打開放在案幾上的竹簡，認真地聽著。先生念到：“子曰：學而時習之，不亦說乎？有朋自遠方來，不亦樂乎？人不知而不慍，不亦君子乎？”然后對霍光說：“你念一遍”。霍光看著竹簡，念了一遍，于是先生開始給他講解，霍光很認真的聽著，稍有困惑時，也會皺眉，這個時候，先生總是很耐心地和他講解其中的含義。
先生又讀到：“子曰：巧言令色，鮮矣仁！”，問道：“何謂巧言令色？”，霍光聽了先生的話，對答道：“學生認為，說話不務實際，說了做不到，只說別人愛聽的，就是巧言令色！”。先生聽了霍光的話，贊嘆道：“好啊，孺子可教也！”，又說道：“你以后要做一個踏實務本的人，千萬不要巧言令色，圣人說了，這樣的人鮮矣仁！”。霍光聽了先生的話，說道：“學生記下了”。就這樣一連幾天，霍光都在家認真地和老者讀書，老先生飽含詩書，且很有耐心，每當霍光碰到疑惑時，他都會慈眉善目地，慢慢地和他解釋，讓他感悟，看著霍光這么好學，老先生也是感到很欣慰。
一天中午，霍光照常送別了教完書的先生，站在大門口向著先生行了個禮后，目送先生離開。就在這時，他聽見了一個熟悉的聲音在叫他，他遠遠地一望，看清了是周虎。周虎正在他家大門外，遠遠地向他招手，嘴里叫著，霍光、快過來。霍光走上前，行禮說道：“是周兄啊”。周虎回禮說道：“你這幾天怎么都不來找我玩了”。“哦，我這幾天都在家讀書，以后不能去找你了”，霍光說。“書有什么好念的，多無聊啊”，周虎說完，又說道：“你那天沒事吧，聽說衙役把你給放了，本來還挺擔心你的，想過來找你。后來又聽說，你兄長好像是做大官的，我尋摸著，你應該沒有什么事，所以一直沒來找你”。霍光看著周虎回答說：“我大兄是驃騎將軍”。周虎好奇地問道：“驃騎將軍，難道是打匈奴的那個驃騎將軍”。“是的”，霍光回答說。周虎吃驚地說道：“天哪，那他沒怪罪你吧”。霍光搖搖頭說：“沒有，他說以后不讓我找你玩了”。“哦，原來是這樣啊，那你怎么想”，周虎說道。“我想著，以后你還是別來找我了”，霍光說道。周虎聽了霍光的話，沉默了一會兒說道：“好吧，以后你如果還想找我玩的話，記得來我家找我，我等你”。霍光沒說話，沉默了，周虎看著霍光的樣子，只好說了一句：“好吧，那我先走了”。霍光說道：“那周兄慢走”。周虎掉頭離開，走出去好幾步后，向看著他的霍光揮了揮手，示意他回去。
就這樣過了一個多月，一天早晨，霍去病找到了霍光，說道：“今天帶你進宮，你說話可要謹慎！”。“記住了，大兄”，霍光回答完又問道說：“那今天不用和先生讀書嗎？”。霍去病回答說：“不用了，我提前和先生說了”，又說道：“去找你兄嫂吧，把一身上下打理好”。“唯”，霍光回答完，帶著緊張又興奮的心情，朝著嫂子那走去。嫂子對著銅鏡，上上下下，認真地把霍光打理好，讓他穿上了早已給他準備好的衣服，然后關切地說：“弟弟，宮里可不比家里，說話、舉止各方面都要小心，聽你大兄的話！”。霍光看了一眼嫂子說道：“記住了，兄嫂”。