煬帝晚年，尤沉迷女色。他日，顧謂近侍曰：“人主享天下之富，亦欲極當年之樂，自快其意。今天下安富，外內無事，此吾得以遂其樂也。今宮殿雖壯麗顯敞，苦無曲房小室，幽軒短檻。若得此，則吾期老于其中也。”近侍高昌奏曰：“臣有友項升，浙人也。自言能構宮室。”翌日詔而問之。升曰：“臣乞先進圖本。”后數日進圖，帝覽，大悅。即日詔有司，供其材木。

凡役夫數萬，經歲而成。樓閣高下，軒窗掩映。幽房曲室，玉欄朱楯，互相連屬，回環四合，曲屋自通。千門萬牖，上下金碧。金虬伏于棟下，玉獸蹲于戶傍。壁砌生光，瑣窗射日。工巧之極，自古無有也。費用金玉，帑庫為之一虛。人誤入者，雖終日不能出。帝幸之，大喜，顧左右曰：“使真仙游其中，亦當自迷也。可目之曰迷樓。”詔以五品官賜升，仍給內庫帛千疋賞之。詔選后宮良家女數千，以居樓中。每一幸，有經月而不出。

是月，大夫何稠進御童女車。車之制度絕小，秪容一人，有機處于其中，以機礙女之手足，女纖毫不能動。帝以處女試之，極喜。召何稠謂之曰：“卿之巧思，一何神妙如此？”以千金贈之，旌其巧也。何稠出，為人言車之機巧。有識者曰：“此非盛德之器也。”稠又進轉關車，車周挽之，可以升樓閣如行平地。車中御女則自搖動。帝尤喜悅。帝謂稠曰：“此車何名也？”稠曰：“臣任意造成未有名也，愿賜佳名。”帝曰：“卿任其巧意以成車，朕得之任其意以自樂，可名任意車也。”何稠再拜而去。

帝令畫工繪士女會合之圖數十幅，懸于閣中。其年上官時自江外得替回，鑄烏銅屏數十面，其高五尺而闊三尺，磨以成鑒，為屏，可環于寢所，詣闕投進。帝以屏內迷樓而御女于其中，纖毫皆入于鑒中。帝大喜，曰：“繪畫得其像耳，此得人之真容也，勝繪圖萬倍矣。又以千金賜上官時。

帝日夕沉荒于迷樓，歷竭其力，亦多倦怠。顧謂近詩曰：“朕憶初登極日，多辛苦無睡，得婦人枕而藉之，方能合目。才似夢，則又覺。今睡則冥冥不知返，近女色則憊，何也？”他日矮民王義上奏曰：“臣田野廢民，作事皆不勝人。生于遼曠絕遠之域，幸因入貢，得備后宮掃除之役。陛下特加愛遇，臣嘗自宮以侍陛下。自茲出入臥內周旋宮室，方今親信，無如臣者。臣由是竊覽書殿中簡編，反覆玩味，微有所得。臣聞精氣為人之聰明。陛下當龍潛日，先帝勤儉，陛下鮮親聲色，日近善人。陛下精實于內，神清于外，故日夕無寢。陛下自數年聲色無數，盈滿后宮，日夕游宴于其中，非歲節大辰，陛下何常臨御前殿？其余多不受朝。設或引見遠人，非時慶賀，亦日晏坐朝，曾未移刻，則圣躬起入后宮。夫以有限之體而投無盡之欲，臣固知其竭也。臣聞古者有野叟獨歌舞于磐石之上。人詢之曰：‘子何獨樂之多也？’叟曰：‘吾有三樂，子知之乎？何也？人生難遇太平世，吾今不見兵革，此一樂也。人生難得支體完備，吾今不殘疾，此二樂也。人生難得老壽，吾今年八十矣，此三樂也。’問者嘆賞而去。陛下享天下之富貴，圣貌軒逸，龍顏鳳姿而不自愛重，其思慮固出于野叟之外。臣蕞甭微軀，難圖報效，罔知忌諱，上逆天顏。”因俯伏泣涕。帝乃命引起。翌日，召義詔之曰：“朕昨夜思汝言，極有深理。汝真愛我者也。”乃命義后宮擇一靜室而帝居其中，女皆不得入。居二日，帝忿然而出曰：“安能悒悒居此乎？若此，雖壽千萬歲，亦安用也？”乃復入迷樓。

宮女無數，后宮不得進御者亦極眾。后宮侯夫人有美色，一日，自經于棟下。臂懸錦囊，中有文。左右取以進帝，乃詩也。《自感》三首云：“庭絕玉輦跡，芳草漸成窠。隱隱聞簫鼓，君恩何處多？”“欲泣不成淚，悲來翻強歌。庭花方爛熳，無計奈春何？”“春陰正無際，獨步意如何？不及間花草，翻承雨露多。”《看梅》二首云：“砌雪無消日，卷簾時自顰。庭梅對我有憐意，先露枝頭一點春。”“香清寒艷好，誰惜是天真。玉梅榭后陽和至，散與群芳自在春。”《妝成》云：“妝成多自惜，夢好卻成悲。不及楊花意，春來到處飛。”《遣意》云：“秘洞扃仙卉，雕窗鎖玉人。毛君真可戮，不肯寫昭君。”《自傷》云：“初入承明日，深深報未央。長門七八載，無復見君王。春寒入骨清，獨臥愁空房。颯履步庭下，幽懷空感傷。平日新愛惜，自待聊非常。色美成拋棄，命薄何可量？君恩實疏遠，妾意徒彷徨。家豈無骨肉，偏親老北堂。此身無羽冀，何計出高墻？性命誠所重，棄割良可傷。懸帛朱棟上，肝腸如沸湯。引頸又自惜，有若絲牽腸。毅然就死地，從此歸冥鄉。”帝見其詩，反覆傷感。帝往視其尸，曰：“此已死，顏色猶美如桃花。”乃急召中使許廷輔曰：“朕向遣汝擇后宮女入迷樓，汝何故獨棄此人也？”乃令廷輔就獄，賜自盡。厚禮葬侯夫人。帝日誦詩，酷好其文，乃令樂府歌之。帝又于后宮親擇女百人入迷樓。

大業八年方士進大丹，帝服之蕩思愈不可制，日夕御女數十人。入夏，帝煩躁，日引飲幾百杯而渴不止。醫丞莫君錫上奏曰：“帝心脈煩盛，真元太虛，多飲即大疾生焉。”因進劑治之。仍乞置冰盤于前，俾帝日夕朝望之，亦治煩燥之一術也。自茲諸院美人各市冰為盤，以望行幸。京師冰為之踴貴，藏冰之家皆獲千金。

大業九年，帝將再幸江都。有迷樓宮人抗聲夜歌云：“河南楊杌謝，河北李花榮。楊花飛去落何處，李花結果自然成。”帝聞其歌，披衣起聽，召宮女問之，云：“孰使汝歌也？汝自為之邪？”宮女曰：“臣有弟在民間，因得此歌。曰道途兒童多唱此歌。”帝默然久之，曰：“天啟之也！天啟之也！”帝因索酒自歌云：“宮木陰濃燕子飛，興衰自古漫成悲。他日迷樓更好景，宮中吐艷戀紅輝。”歌竟不勝其悲。近侍奏“無故而悲又歌臣皆不曉。”帝曰：“休問。他日自知也。”

后帝幸江都，唐帝提兵號令入京，見迷樓，太宗曰：“此皆民膏血所為也！”乃命焚之。經月火不滅。前謠前詩皆見矣。方知世代興亡，非偶然也。