劉胥是漢武帝的第四個兒子，和劉旦同是李姬所生。劉胥也不受武帝的寵愛，被封到了氣候炎熱的廣陵。廣陵國在漢高祖六年隸屬于荊州，11年改屬吳國。漢景帝四年改名為江都國。武帝元狩二年江都王劉建謀反，國除，他的封地改為廣陵郡。元狩六年，武帝將廣陵郡部分地設為廣陵國，封劉胥為廣陵王，都廣陵（今揚州）。

賜給劉胥的策書說：“皇子劉胥，授予你這塊紅色的土壤，為你建立封國，把你封在南部，世代為漢皇室的藩籬輔佐。古人說，‘大江以南，五湖之間，那里的人民輕狂。揚州人恃強凌弱，夏商周三代遠離京畿，天子政令到達不了?！阋M心守職，施德惠民，不要沉溺游樂，不要親近小人，要遵守法則！《尚書》說‘臣不作福，不作威’，以后才會沒有恥辱。廣陵王你要謹慎啊！”

劉胥從小就放浪形骸，從來都不約束自己的行為。長大后，身材高大，體魄健壯，喜好游樂，力能扛鼎，還喜歡空手與熊、野豬等猛獸搏斗，行事作風一點規矩都不講。所以當太子劉據在巫蠱之禍中自殺，二哥劉閎早逝，三哥劉旦因覬覦皇位太過明顯而觸怒漢武帝后，漢武帝寧可選年僅八歲的劉弗陵，也不愿意選劉胥為皇位繼承人。

漢昭帝劉弗陵繼位之后，對劉胥這個哥哥相當慷慨，登基不久就加封劉胥13，000戶。昭帝元鳳年間，劉胥到長安朝見皇帝，昭帝又給他加封一萬戶，賜錢兩千萬，黃金2000兩，還有安車、駟馬、寶劍。但劉胥可沒有念著弟弟的好，他見漢昭帝年少，又沒有子嗣，便起了覬覦皇位的野心。楚地崇巫信鬼，劉胥請來楚地女巫李女須，讓她下神詛咒。只見女須神叨叨的哭著說：“孝武帝的靈魂附在了我身上?！眲Ⅰ愕热粟s緊都匍匐在地上，女須繼續說：“我一定要讓劉胥成為天子！”劉胥聽了心花怒放，賜給她很多錢，讓她到巫山繼續禱告。

湊巧的是，不久昭帝駕崩，劉胥由此認定，女須真的是一位靈驗的神巫。大喜過望的他立刻殺牛慶祝，坐等長安來人接他進京當皇帝。沒過多久，長安傳來了新的消息，不過不是讓劉胥進京當皇帝，而是霍光等人已經選好了新皇帝：漢武帝的孫子，昌邑王劉賀。劉胥憤怒了，他覺得自己能成功詛咒皇帝一次，就能成功詛咒皇帝第二次，當即讓女須再接再厲，詛咒劉賀。

果然，劉賀僅僅在位27天就被廢掉了。劉胥眉開眼笑，想著這下該輪到自己了，也越來越信任女須，多次賜給她錢物。不料，長安傳來的新消息是：戾太子劉據的孫子劉病已當上了皇帝，那可是劉胥的孫子輩。漢昭帝去世之后，選誰當皇帝，主要是由權臣霍光拍板。

那為什么霍光不選劉胥當皇帝呢？首先劉胥的輩分不合適，按照古代宗廟的排列次序，兩代皇帝的關系，最好是兩代人。劉胥是漢昭帝的哥哥，漢昭帝無子，若讓他的哥哥繼位，就會發生漢初漢文帝以劉邦的兒子身份繼承大統，劉邦的嫡子漢惠帝看起來反而成了旁支的尷尬事。劉賀是漢昭帝的侄子輩，過繼給漢昭帝，以漢昭帝后嗣的身份繼位才是合適的。所以盡管劉賀做的奇葩事比劉胥只多不少，霍光等大臣還是選擇了劉賀當皇帝，而不選和漢昭帝血緣關系更近的劉胥。而后來的漢宣帝劉病已，也是以漢昭帝后嗣的身份，而不是以劉據孫子的身份登基的。

其次，劉胥的年齡太大。史書沒有記載劉胥出生年份，但是他早在武帝元狩六年就已經封王，漢昭帝去世的時候，已經當了43年的廣陵王了。也就是說，當時的劉胥差不多有50歲了，正常他的兒子也都已成年。如果劉胥繼位，霍光沒有不還政給皇帝的理由。哪怕劉胥去世，他的兒子繼位，霍光都沒有把持朝政的理由，所以霍光當然不會選他。

再說劉胥的同母哥哥劉旦怨恨霍光，并因為謀反自殺。雖然沒有證據表明劉胥曾經參與同母哥哥的謀反行動，但霍光不得不防。所以劉胥是沒有機會當上皇帝的。而宣帝剛即位，對他這位唯一在世的叔公相當慷慨，封劉胥的四個兒子劉圣、劉曾、劉寶、劉昌為列侯，又封劉胥的小兒子劉弘為高密王，賞賜非常優厚。但劉胥仍不知足，他滿腹牢騷，心生怨氣，說：“太子的孫子怎么能排在我前面？”于是又讓女須像以前那樣詛咒起來。