后來朝廷逮捕劉安的孫子劉建，收監審訊。劉安害怕事情敗露，對伍被說：“事已至此，我不得不起兵。天下百姓受朝廷的苦很久了，諸侯多有過失，都心中不安，我率先起兵，一定會有人響應。即使沒人響應，我還可以回頭攻取衡山國，我已經箭在弦上，不得不發。”

伍被說：“攻取衡山國，占領廬江國，用戰船隔斷潯陽江，在九江郡駐扎重兵，斷絕豫章郡通道，強弓勁弩，守住南郡，再向東保住會稽郡，南下與越國聯合，在江淮間與朝廷對抗，這也只是茍延殘喘罷了，不會有好結果。”劉安說：“左吳、趙賢、朱驕如都認為十有八九會成功，唯獨您認為不會有好結果，為什么？”伍被說：“您能用來指揮打仗的大臣，都已經被關押在朝廷的監獄里，剩下來的，成事不足，敗事有余。”

劉安說：“當初陳勝、吳廣身無立錐之地，率領數百人，興起于大澤鄉，振臂一呼，天下響應。西進攻入秦地的戲水，已有一百二十萬人。淮南國雖然狹小，可以征集的士兵也有二十萬，你憑什么說有禍無福？”

伍被說：“我不害怕像伍子胥因盡忠而受到誅殺，希望您不要像吳王那樣聽信讒言。從前秦朝暴虐無道，坑殺儒生，焚燒《詩》《書》，廢棄禮義，濫用刑法，征發傜役。那時，男子一年辛勤耕種，不夠繳納糧餉；女子日夜紡織，不足以遮蔽身體。秦始皇派蒙恬修筑長城，東西長達幾千里。幾十萬士兵在外風餐露宿，死者難以計數，骸骨遍野，血流成河。百姓精疲力竭，十人中有五人想要作亂。始皇又派徐福入海求仙藥，帶著大量珍寶，三千童男童女，還有糧食種子和各種工匠。徐福找到有平原河湖的地方，在那里稱王，不再返回。百姓失去親人，哀痛愁怨，十人中有六人想要作亂。始皇又派尉佗翻越南嶺，征伐百越，尉佗知道中原疲憊不堪，便在南越稱王。走的人杳無音訊，百姓悲痛欲絕，十人中有七人想做亂。始皇帶領成千上萬的車馬巡游天下，修建阿房宮，征收沉重的賦稅，征發貧苦的百姓去戍邊。父親不能保護兒子，哥哥不能保護弟弟，苛政壓迫，刑罰殘酷，百姓都仰天悲嘆，捶胸而怨恨君主，十人中有八人想做亂。有人對高祖說‘時機到了’高祖說：‘再等一下，會有圣人出現得東南方。’果然一年不到，陳勝、吳廣振臂一呼，高祖、項羽隨即響應，天下風起云涌，正可謂時機到來，借秦末動亂，群雄并起，好似久旱逢甘霖，高祖崛起于軍旅，終于成就帝王偉業。現在您只看到高祖取得天下，卻看不到近世吳楚的前車之鑒，當今皇帝君臨天下，海內一統，廣施恩惠。皇帝聲音未發出，聲威已如驚雷；號令未頒布，教化卻如閃電般迅速；皇帝心有所思，則威動千里；百姓響應朝廷，就像影之隨形，響之應聲。朝廷的大將軍，豈是當年章邯、楊雄可以比擬？您舉陳勝、吳廣的例子，我認為錯了，況且您的軍隊還不到吳楚軍隊的十分之一，天下又比秦朝末年安寧萬倍，希望您認真思考我的建議。我聽說箕子經過殷商的舊都，哀痛不已，寫下了《麥秀》詩，哀悼紂王不聽比干的諫言。孟子講，紂王貴為天子，死時連個匹夫都不如。因為他已經自絕于天下，并非到死的那天才被天下人拋棄。現在，我也哀痛大王，將要拋棄千乘之君，得到亡命之書，在群臣面前，死于東宮！”伍被這番話，層層遞進，博征類引，感情真切，說完他自己痛哭失聲，可惜他的一片苦心，還是錯付了。

后來劉安又召見伍被問道：“如果像您所說的那樣，我就不能僥幸成功嗎？”之前伍被一直是勸諫劉安的，但這一次他不僅沒能堅持自己的原則，還給劉安出了個計策：讓劉安偽造詔書，將民眾遷往朔方郡以抵御匈奴，再逮捕諸侯王的太子和寵臣，這樣就會民怨沸騰，諸侯王恐懼，再派善于搖唇鼓舌的辯士去煽動諸侯王，或許可以僥幸成功。劉安說：“這個方法可以考慮，但是我也不能僅靠造謠生事獲得成功，還是要用兵。”

后來謀反的事情敗露，伍被投案自首，向朝廷揭發劉安要謀反的前后經過。漢武帝認為，伍被在勸諫劉安時，一再夸耀朝廷的美德，不想殺伍被。但張湯說：“伍被首先為淮南王策劃謀反，罪大惡極，不能赦免。”伍被最終被殺。

班固評論：伍被身處淮南危國，充當淮南王的謀士，心懷忠奸兩端，最終被殺，也是罪有應得。正如孟子說的“君子不立危墻之下，焉可等閑視之。”君子要遠離危險的地方，不能將其視作平常而無視，就是這個道理。