盧綰是豐邑人，與劉邦家住在同一個里巷。盧綰的父親與劉邦的父親非常要好。兩家又在同一天生下兒子，劉邦與盧綰同年、同月、同日生，里巷中牽羊擔酒，為他們兩家祝賀。劉邦，盧綰慢慢長大，兩人一起讀書一起玩耍，親密無間，鄰居們都很羨慕，覺得他們父輩相好，生兒子在同一天，孩子長大又相好，很難得，再次牽羊擔酒祝賀兩家。

劉邦還是平民時，因為躲避官司，離家出走了，盧綰一直追隨在他身邊。后來劉邦在沛縣起義，盧綰首先響應并追隨劉邦。劉邦被封為漢王，任命盧綰為將軍，盧綰經常在內廷陪伴劉邦。再后來楚漢爭霸，盧綰以太尉的身份隨同劉邦左右，可以自由出入劉邦的臥室，還經常得到衣服，被褥和飲食等賞賜。這種不分你我的禮遇，群臣之中除了盧綰，沒有誰敢奢望，即使是蕭何，曹參等人，也只是因為工作上的原因而受到禮遇，要說親近寵幸，都比不上盧綰。漢建國后，盧綰被封為長安候，長安就是秦國首都咸陽。

漢五年初，項羽已經被打敗，劉邦派盧綰帶另一支軍隊，跟劉賈一起去攻打臨江王共尉，打敗了共尉。七月回朝后，盧綰又馬上跟隨劉邦去攻打燕王臧荼，臧荼戰敗投降。

高祖平定天下之后，異性諸侯王共有七個，高祖本來想封盧綰為王，但盧綰在群臣中威信不高，只好作罷。等到俘虜了臧荼，高祖便召集所有的將相列侯，讓他們在群臣中選擇功臣來做燕王。群臣都知道高祖想讓盧綰為王，就異口同聲說：“太尉長安候盧綰，長期以來追隨皇上南征北戰，平定天下，功勞最大，應該封為燕王。”這些話正中高祖的下懷，于是封盧綰為燕王，在各位諸侯王之中，沒有誰比燕王更受寵幸。