劉知遠從小就不喜歡活動，非常的嚴肅而且很少說話，長大之后開始給李嗣源打工，做了他的部下。

李嗣源與梁人在德勝對陣時，石敬瑭被梁軍襲擊，戰馬鎧甲的皮條斷了，劉知遠就把自己騎的馬給了石敬瑭，自己則騎上石敬瑭斷了鎧甲的馬，并且還不慌不忙地留在后面斷后，石敬瑭因此很感激劉知遠，認為劉知遠很勇敢。

李嗣源登上帝位時，石敬瑭擔任北京留守，因為劉知遠從前有救自己的功勞，所以請李嗣源把劉知遠調到自己這里（奏移麾下），擔任牙門都校。

李從厚跑路時，在路上碰到了石敬瑭，于是一起到了衛州，在郵亭里休息。當時李從厚身邊的人想謀害石敬瑭，劉知遠悄悄派衛士石敢在袖子里藏著鐵錘站在石敬瑭后面，發生叛亂時，石敢擁著石敬瑭躲進一間屋子里，用大木頭將門頂住，石敢不久就被人殺害了，劉知遠及時帶人殺死了李從厚身邊的人，才使石敬瑭免于被殺。

契丹國王滅了晉朝之后，下令改晉國為大遼國，同月，劉知遠派王峻拿降表到了契丹，契丹國王立刻褒揚嘉獎，稱劉知遠為兒子。又賜給劉知遠一根木拐。按照契丹的禮儀，只有尊貴的大臣才能得到這種賞賜。王峻拿著木拐，契丹人看見他都紛紛避讓。當王峻回到太原后，劉知遠才知道契丹政治混亂，于是想開始商量建國立號的事（乃議建號焉）。

河東行軍司馬張彥威與他的文武將吏等人，認為中原沒有主人，并且劉知遠的威望越來越高，所以寫信勸劉知遠登上帝位，但劉知遠謙讓沒有答應，此后眾官又多次上書，一個接一個地懇切請求，劉知遠才答應了。

劉知遠在太原宮受冊封，登上帝位，國號稱“漢”。劉知遠因為晉朝皇室全都被契丹遷到了北方，非常的憤慨惋惜。劉知遠準備率領兵馬奔赴土門，想要到壽陽迎回石重貴，但聽說石重貴已經走了，劉知遠只好帶著人回去。

契丹聽說劉知遠已經建國了，于是馬上下令剝奪了劉知遠的官職爵位。

劉知遠派史弘肇帶兵討伐代州，因為代州刺史王暉背叛晉朝歸順契丹。史弘肇一鼓作氣攻下了代州，將王暉斬首示眾。

當時晉州留后劉在明去拜見契丹，安排駱從朗管事，劉知遠派張晏洪、辛處明等人去通知晉州，劉知遠已經稱帝了，但駱從朗卻將張晏洪等人囚禁在了晉州城。晉州大將藥可儔在官府殺死了駱從朗，州民們也一起協力殺死了趙熙，三軍將領請張晏洪做留后，辛處明做都監。然后張晏洪上奏，晉州發生了叛亂，駱從朗和趙熙被人殺死，所以晉州最后也歸了劉知遠。

當時契丹以本族人朗五做了澶州節度使，但契丹人生性貪婪暴虐，官吏、百姓都苦不堪言。王瓊是澶州水運什長，于是勾結了夏津強盜首領張乙，兩人加起來有一千多人，半夜搞突然襲擊，從南城殺死守衛將領，弄斷了用船搭成的浮橋，攻進了北城，朗五只能據守牙城來抵抗他們。不過幾天后契丹的救兵趕到，王瓊戰敗而死。

延州留后高允權派判官李彬上奏劉知遠說：“本道節度使周密被三軍將士驅逐，以高允權擔任留后一職，所以上表請求歸順。丹州都指揮使高彥珣殺死契丹任命的刺史，占據州城也歸順了劉知遠。

契丹國王殺害了相州留后梁暉。梁暉年輕時曾做過強盜，碰上契丹人攻入汴州，梁暉就收集人馬，先攻入了磁州，而且馬上派使者和劉知遠聯系。梁暉得知相州有一些兵器，而且又沒人防守，于是趁著晚上與他的人馬翻越城墻攻入相州，殺死了幾十個契丹人，奪取武器兵甲數上萬件，因此占據了相州城。

契丹國王先派相州節度使高唐英帶兵征討他。不久之后契丹國王親自來到城下，第四天就攻陷了相州城，于是屠殺了全城。第二天，契丹國王就回到北方去了，命令高唐英鎮守相州，高唐英檢查城中活下的人口時，僅得到男男女女共七百人而已。等到了王繼弘鎮守相州，向劉知遠報告在城中得到的白骨就有十多萬副，契丹人殺害了多少百姓，從這些白骨的數量就可以知道。

河陽留后武行德率領全城歸順劉知遠。當初，契丹國王準備用船只裝著武器庫的兵甲器械，想搬到北方，于是派奉國都虞候武行德的部隊護送，還撥給軍士一千多人帶著家屬們一起上路。到河陰時，軍士發生叛亂奪了兵器，殺了契丹的監察使者，眾人都推選武行德做首領，與河陰駐軍會合，河陽偽節度使崔廷勛帶兵抵抗武行德，被打敗了，武行德馬上追擊敗兵，崔廷勛直接棄城跑路，武行德因此占據了河陽城。

當時的偽西京留守劉晞也放棄了洛陽，直接跑了。洛陽巡檢使方太自己暫時掌管留守事務。不久，方太就被武行德殺死了。

崔廷勛率領契丹人在河陽攻打武行德，武行德出戰卻被崔廷勛打敗。武行德雖然吃了敗仗，卻仍然被劉知遠封為河陽節度使。