從那天開始，差不多用了三個月的時間，伏蓋寡婦利用高里奧先生的理發匠，在打扮上花了一些心思。她說公寓里來往的客人都很體面，自己不能不修飾得和他們相稱些。

高里奧先生和所有白手起家的人一樣，早年不得已的節省已經成為習慣。

第一年將盡，寡婦對他十分猜疑：這個富有七八千法郎進款的商人，銀器和飾物的精美不下于富翁的外室，為什么住到這里來，只付一筆在他財產比例上極小的膳宿費呢？這第一年的大半時期，高里奧先生每星期總有一兩次在外面吃晚飯，隨后，不知不覺地改為一個月兩次。這種改變被認為一方面由于他的財產慢慢減少，同時也由于他故意跟房東為難。第二年年終，高里奧先生要求搬到三樓，把膳宿費減為九百法郎。他甚至整整一冬屋里沒有生火。伏蓋寡婦要他先付后住，高里奧答應了，從此她便稱他高老頭。

關于他降級的原因，大家議論紛紛，可是始終猜不透。

總之，大家把他當做惡劣的嗜好、無恥、低能所能產生的最神秘的人物。不過無論他的行為或惡劣的嗜好如何要不得，人家對他的敵意還不至于把他攆出門外——因為他從沒拖欠過房飯錢，不像那個伯爵夫人白吃白住了半年溜掉了。幾個月后，西爾維一天早上起身之前，聽見樓梯上有聲音，一個年輕的女人輕輕巧巧地溜進高里奧房里，打開房門的方式又像有暗號似的。胖子西爾維立即上來報告女主人。伏蓋太太帶著廚娘去湊在門口偷聽，耳朵里掠到幾句溫柔的話，兩人會面的時間也有好一會了。高里奧送女客出門，胖子西爾維馬上抓起菜籃，裝做上菜市的模樣去跟蹤這對情人。

她回來后對女主人說：“太太，高里奧先生一定錢多得做怪，才撐得起那樣的場面。你真想不到，有一輛漂亮的馬車等在那里，我是親眼看著她上去的。”

吃晚飯的時候，伏蓋太太去拉了一下窗簾，把射著高里奧眼睛的那道陽光遮掉。

“高里奧先生，你艷福不淺呢！”她暗指他早晨的來客說，“嗬！你的眼力真好，她漂亮得很啊！”

“那是我的女兒！”他回答時那種驕傲的神氣，讓房客們以為是老人故意撐面子。

一個月以后，又有一個女客來拜訪高里奧先生。他女兒第一次來穿的是晨裝，這次是晚餐以后，穿得像要出去應酬的模樣。“哎呀！竟有兩個！”胖子西爾維說。她完全認不出是同一個人。過了幾天，另外一個高大結實、深色皮膚、黑頭發的女兒，跑來見高里奧先生。

“哎呀！竟有三個！”西爾維說。

這第二個女兒初次來的時候也是早上，隔了幾天又在黃昏時穿了跳舞的衣衫，坐著車來了。

“哎呀！竟有四個！”伏蓋太太和西爾維一齊嚷著。她們在這位闊太太身上一點沒有看出她上次早晨穿扮樸素的影子。那時高里奧還付著一千二百法郎的膳宿費。伏蓋太太覺得一個富翁養四五個情婦是挺平常的，把情婦充做女兒也很巧妙。等到他降級到九百法郎之后，有一次她看見這些女客之中的一個下樓，就惡狠狠地問他打算把她的公寓當做什么地方。高老頭回答說這位太太是他的大女兒。

“你的女兒有兩三打嗎？”伏蓋太太尖刻地說。

“我只有兩個女兒。”高老頭答話的口氣非常柔和。

快到第三年時，高老頭還想節省開支，搬到四層樓，每個月的房飯錢只有四十五法郎了。他脫下寶藍大衣跟那些華麗的服裝，不分冬夏，只穿一件栗色粗呢大褂，羊毛背心，灰色毛料長褲。他越來越瘦了，在住到圣·日內維新街上的第四年，他完全變了樣。六十二歲時的面條商，原來看上去不滿四十，像個又胖又肥的小財主，如今忽然變得老態龍鐘，面色如土。

一天黃昏，剛吃過飯，伏蓋太太挖苦他說：“啊，喂！她們不來看你了嗎？你的那些女兒呢？”口氣顯然是懷疑他做父親的身份。

“有時候來。”他聲音顫抖地回答。

“哎呀！有時你還能看到她們！”那些大學生齊聲叫著，“真了不起，高老頭！”

老人并沒在意他的回答所引起的嘲笑，仍然迷迷糊糊的。巴黎生活特有的誘惑，使人們一走出圣·日內維新街便忘記了他們所取笑的可憐老頭。伏蓋太太對什么事都愛胡亂猜想，她說：

“要是高老頭真有那么有錢的女兒，就跟那些看望他的女客一樣，那他絕不會住在我的四層上，每月只付四十五法郎的房飯錢，也不應該穿得像窮人一樣就上街了。”

似乎沒有什么證據可以推翻這個結論。所以到1819年11月底，這幕慘劇爆發時，公寓里每個人都對可憐的老頭有了極其肯定的意見，認為他不曾有過什么妻子兒女。