太祖下定了決心，要解除石守信等的兵權。于是有一天，他在宮中擺下豐盛的酒宴，請石守信等幾員大將入席飲宴。喝到興頭上時，宋太祖屏退左右，對石守信等人說，我沒有你們的鼎力幫助，不會當上皇帝，你們的功勞我永世難忘。但當天子也有很大難處，還不如做節度使安樂自在，我從來沒有一夜睡過安穩覺。石守信等人聽了以后茫然不解，忙問是什么原因。太祖回答道，皇帝這個座位誰不想坐啊。石守信等人急忙跪下連連叩頭說，陛下為什么說這樣的話，現在天命已定，誰還敢有異心？太祖說，你們雖然沒有異心，一旦你們部下貪圖富貴，把黃袍加在你們身上，到時就是你們不愿意，難道能擺脫得了嗎？石守信等人聽了此話驚恐萬狀，連連叩頭，請求太祖指出一條生路。太祖說，人生在世有如過眼煙云，是很短暫的，其實追求的也不過是富貴，多弄一些錢，盡情地享樂，使子孫永遠不過窮日子而已。你們何不交出兵權，到外地封為官員，在那里廣置良田美宅，為子孫建立永久家業。再多養一些歌兒舞女，每天歌舞升平、歡度晚年。我再和你們聯姻結親，使君臣上下無猜，相安無事，這不是很好嗎？石守信等將領心領神會，連連叩頭拜謝感恩。第二天他們便相繼稱病，請求解職。宋太祖派人對他們撫慰一番，又賞賜很多財物，安置他們到外地去做節度使。歷史上有“杯酒釋兵權”之說法，指的就是趙匡胤君臣所導演的這一幕。
這以后收兵權的行動繼續在進行。乾德元年（963）春，對幾十個異姓王以及帶相印的節度使通過死亡、遷徙、告老、遙領他職等方式奪了他們的權，以文官取代其職位。開寶二年（969）十月，乘鳳翔節度使王顏超及諸藩入朝之機，宋太祖在皇家后苑擺下酒宴，又通過微妙的暗示，迫使王顏超等人自動請求辭官歸家養老，罷去了他們握有重兵的藩鎮職務，奪了他們的兵權。
在大肆剝奪諸藩、將領兵權的同時，宋太祖和趙普又在國家軍事體制方面進行了調整、整頓，這些措施對進一步鞏固趙宋王朝的中央集權，消除悍將強藩對朝廷的威脅，起了相當大的作用。
禁軍將領，權任極重，容易威脅皇權。在調整中取消了殿前都點檢、殿前副點檢等高級禁軍將領的建制，改由職位較低的殿前都指揮使、侍衛馬軍都指揮使、侍衛步軍指揮使統轄禁軍，稱為“三衙”或“三司”；“三衙”只負責軍隊的管理和訓練，沒有調兵權。調兵權僅屬于樞密，但是樞密院又無指揮權，軍隊指揮必須完全聽命于皇帝。征戰之時由皇帝臨時點將，將帥在戰場上一切的軍事舉措，完全聽命于皇帝的遠地指揮，無權獨立作戰。征戰結束后，兵歸宿衛，將還本職。這樣將帥就不得專其兵，兵也難附屬于將帥，但皇帝卻專有統帥全軍的最高權力。
作為直接保護皇帝安全的禁衛軍，是一支重要的軍隊，為提高禁軍素質，在趙普的策劃下裁掉了禁軍中的老弱病殘者，選拔精壯士兵加以補充。禁軍頭目的任命，由皇帝確定，太祖詔命殿前侍衛二司，挑選所屬士兵中的驍勇者升為上軍；又命令各州選拔精壯的士兵送至京都補充禁軍。禁軍的素質提高了，地方軍隊的作用也隨之削弱了。
趙普對軍制的精心安排、調整，的確起到了強干弱枝、加強中央集權的作用。禁軍“皆以一當百”，武器精良。諸鎮對自己手下的兵力決非京師之敵這一點心里很清楚，因此也就不敢輕舉妄動了。但是隨之而來的弊病，也是顯而易見的。由于中央集中兵權，使將不知兵，兵不知將，皇帝在遠地搖控指揮，大大削弱了將帥的主動作戰能力，從而影響了在戰場上的作戰效果。趙宋王朝在以后與西夏、遼、金的作戰中，屢屢敗績，就是明顯的例證。
趙普十分清楚僅削奪藩鎮的兵權，并不能徹底解決藩鎮強霸一方的問題，藩鎮往往兼管幾個州，有經濟基礎，有財政來源，有司法大權，可隨時委派親信為鎮將，控制州縣官吏，實際上就是地方上的上皇帝。于是他奏請宋太祖革除這種弊病。
乾德二年，朝廷下令規定各州的財政收入除留下作本地領費支出以外，其余的全部上交京師，不許藩鎮任意截留地方財政收入。乾德三年（965）在全國各路設置了轉運使，掌管各路財賦，節度使所屬的官吏不得參與。地方司法由提點刑獄官監臨，節鎮不得干預。五代以來，節度使常常委派親信為鎮將，使他們與縣令對抗，實際就是取代縣令而自成體系。趙普決定恢復縣令的權力，地方一切事務都統一由縣管理。這樣一來，中央收回了以前節度使統領幾州的權力，使各州直屬于京師，并由中央委派文臣朝官充任知州。同時又在各州加設了通判官，與知州共同處理政務，起到了互相監督和制約的作用。為避免州久任一地形成割據勢力，又規定了“三年一易”的輪換制度。這樣一來，地方的封建割據就很難形成了。
趙普采取的這些果斷措施，進一步從各個方面削弱了藩鎮的權勢，各地節度使幾乎成了沒有實權的虛銜。與此相反，中央的統治權力得到極大的加強，強干弱枝的形勢已經形成，中央和藩鎮的關系和唐五代相比，已經是大不一樣了。
出自對加強皇權的需要，趙普又對中央作了較大調整。在禁中設立中書，稱為政事，由中書管政事；設立了樞密使專掌軍事；另設三司使（鹽鐵、度支、戶部稱三司）總管全國貢賦和財政。過去是由宰相總攬的行政、軍事、財政大權，現在一分為三，相權大為削弱。而皇帝除統領中書省外，還統領樞密院、三司等機構，皇權極為加強。為加強中央對司法權的控制，朝廷規定，凡是要處死刑的案件——大辟案件必須錄案上報刑部審核。
一系列調整和改革，有效地解決了君弱臣強的內部機制，使專制主義中央集權得到空前加強。趙普在為趙宋王朝的權力得到鞏固、加強方面確是竭精彈慮，不遺余力，正由于此，宋太祖視趙普為左右手，對趙普無不言聽計從。乾德二年（964）四月，宋太祖為協助獨居相位的趙普處理政務，特地設立了“參知政事”一職作為副相，并拜任薛居正、呂余慶為參知政事，但參知政事不押班、不知印、不升政事堂，權力是有限的。
十四年居相位
在宋太祖時期，由于趙普的貢獻極大，所以職務提升很快。建隆三年（962）出任樞密使；乾德二年（964）正月，拜為同中書門下平章事，也就是宰相。太祖視趙普為股肱股肱（ɡōnɡ）：比喻左右輔助得力的人。
，事無巨細，都要與他商議。于是趙普也更加盡心竭力，參與制定了北宋初期的所有重大決策。
趙普勤于相業，不管是輔佐宋太祖還是宋太宗始終都是忠貞不二。他曾多次與宋太祖、宋太宗討論理政治國之道，他認為君主應懷有愛民之心，而且要貫徹始終。有一次，宋太祖在與群臣宴飲時，忽天降大雨，開始太祖有些敗興，及后雨越下越大，太祖已經怒形于色，左右群臣怕得罪，誰也不敢吭聲，唯有趙普對太祖說，這場雨對大宴并無妨礙，可對老百姓卻很難得，他們都在盼雨，這場雨可以滋潤禾苗，他們一定很高興，實在是值得慶賀，請求樂官為之奏樂。經趙普這么一說，太祖馬上高興起來，命令樂官為喜雨而奏樂。
趙普還認為，治國之道應賞罰分明、大公無私，他把大公無私比作大自然的天，說：“天發生于春夏，殺于秋冬，不私一物，此所以能長久，王者所應當效法。”
趙普輔佐太祖、太宗對官吏嚴加選拔和考核，他請求太祖對官員進行考績，提出以后拜節度使及武官等職必須要求立有戰功，對宰相以及以下的百官應每年進行考績。趙普選拔官吏，剛毅果斷，敢于據理力爭。他生平舉薦過許多人，發掘過許多人才。他曾上疏太宗推薦張齊賢任宰相，以后張齊賢兩次擔任宰相，任勞任怨，工作相當出色。趙普曾發現一個人很有才能，上奏向宋太祖推薦這個人做官。太祖看了奏章后決定不錄用。但上朝時趙普又遞上了同樣內容的奏章，太祖大怒，把奏章撕破扔在地上，滿朝文武都大驚失色，趙普面色不變，跪在地上將碎片拾了回來。隔些天，趙普將奏章碎片粘貼在舊紙上照舊奏薦。太祖終于領會過來，任用了這個人。
又有一次，許多官員當提升，太祖素來對其中一個抱有惡感，不打算給他升遷，趙普認為應升遷，堅持請求，太祖發怒說：“朕決心不讓他升遷，你能怎么樣？”趙普說：“刑罰是懲辦作奸犯科的，封賞是酬勞有功績的，從古以來都是這個道理。何況刑賞是天下的刑賞，不是陛下的刑賞，豈能以陛下喜怒好惡來決定。”太祖大怒，站起身來就走，趙普跟隨在后。太祖進入后宮，趙普在宮門外佇立，久而不去，終于得到太祖的同意。
趙普對禁軍將領的選擇特別精心謹慎。乾德元年（963），宋太祖要提升天雄節度使符彥卿管禁軍。趙普了解符彥卿在節度使任上專橫放縱，恣意不法。他認為符彥卿的名位已經很高了，不應該再授給他兵權。但太祖不聽。發出了委任詔令，并不許趙普再諫。趙普把詔令扣留在自己手里，第二天上朝還給了太祖，勸太祖要深思利害。太祖問趙普為什么對符彥卿這樣疑忌，太祖認為符彥卿不會有負于自己。趙普只好說了一句分量很重的話：“陛下何以能負周世宗？”太祖聽了以后默默無言，于是中止了提升符彥卿的做法。
趙普也很重視法制，建隆三年（962）朝廷決定更定刑統，命令兵部尚書竇儀主持這項工作，《宋刑統》于第二年終于完成，經趙普的斟酌修改，連目錄31卷，計12篇，502條。這是專屬刑事法規，凡與刑名無關的敕令，另編有《建隆編敕》四卷，與《宋刑統》一起頒布天下。在封建專制社會里，皇權往往等于法，所謂“口合天憲”說的就是皇帝的權力凌駕一切。但即使如此，趙普還努力勸說太祖、太宗依法辦事。太平興國年間有一個賣藥的騙子陳利用得到了宋太宗的信任，官至鄭州團練使。此人專橫驕縱，目無國法，壞事干盡，還拉攏一些爪牙為其張目，朝中許多大臣敢怒而不敢言。趙普派人查清了他的惡跡，審訊時陳利用也都供認不諱并且表示服罪。趙普奏請朝廷把陳利用處斬，但太宗卻下詔將其流放商州，不久又要讓他回來。趙普說陳利用罪大惡極，處置如此之輕，天下何以能服，留這樣的佞臣賊子有什么用？太宗反駁說，作為萬乘之主，怎么就沒有保護一個人的權利？趙普答道：“此人犯了十幾條死罪，陛下不殺，他必然要混淆天下的法律，法應當愛惜，此人有什么可愛惜的？”太宗不得已命令陳利用在商州自裁，但隨即又后悔了，急派使臣送去免死的命令，但趙普在使臣未到時就已經把這個惡棍殺了，此事大快人心。
由于趙普獨居相位達九年之久，朝政獨斷，威權日重，驕橫之氣也日盛，出現了剛愎自用、獨裁專制的現象。他常在衙署座位后邊，放置兩口大甕，凡是不合他意的內外表疏，就隨手扔在甕內一燒了事，為此他也得罪了不少人。趙普雖然善于舉賢薦能，但也有嫉賢妒能之時。宋太祖曾夸獎過樞密直學士右諫議大夫馮瓚（zàn）是當世罕有的奇士，要重用他。趙普出于妒能之心，先是把馮瓚弄到梓州去做官，又想用卑鄙的手段置馮瓚于死地，幸好宋太祖出面進行了保護，馮才幸免于難。
開寶六年（973），宋太祖有一天親臨趙普的府第，見廊下放置十個瓶子，太祖問是什么，趙普回答說是剛才吳越王錢謬派人帶來書信時送來的海產。太祖說：“海產必然是好東西。”即命打開，里面裝的都是瓜子金。趙普誠惶誠恐地叩頭說：“臣還沒有拆開書信，實在不知道。”太祖嘆口氣說：“受之也無妨，他還以為國家大事都是由你們書生作主呢。”顯然矛盾已經出現了。在這以后，就有人告發趙普私購官禁的秦、隴大木材，用來擴建府第；趙普的兒子娶了樞密使李崇矩的女兒為妻，違反了宰輔大臣子女不得通婚的禁令；趙普還包庇過受賄和拒不赴任的官吏等等。太祖大怒，決定借此機會分趙普的相權，詔令參知政事輪流與趙普知印、押班、奏事。開寶六年（973）八月太祖干脆就罷了趙普的宰相，出任河陽三城節度使，檢校太傅、同平章事。
太平興國二年（977），宋太宗詔令趙普入朝，改任太子少保，遷太子太保，留在京都供職。在留京師的開始幾年，因為中書侍郎盧多遜的詆毀，宋太宗對趙普懷有猜疑之心，趙普郁郁不得志，一直沒能入相。后來趙普沖破盧多遜的障礙，積極支持宋太宗對秦王廷美（太宗弟）的斗爭，才使宋太宗和趙普的關系有所改變。太平興國六年（981）九月，趙普被任命為司徒、兼侍中、又出任宰相。太平興國（983）八年十月趙普又被免去宰相職務，出任武勝軍節度使、檢校太尉兼侍中。以后開封尹陳王元僖上疏太宗，推薦趙普再次入相。端拱元年（988）二月趙普再任兼侍中，淳化元年（990）正月自己主動要求免去宰相職務，以太保兼中書令充西京留守河南尹。以后封為梁國公，又改為許國公。
史書記載，趙普年輕時懂得官吏的事務，讀書很少，當了宰相后，太祖常勸他多讀書，增長學識。趙普深有領悟，他孜孜不倦，有志于學，甚至到了晚年也手不釋卷。有人曾譏諷他以半部《論語》治天下，據說他對此也默認，其實趙普通過勤奮的學習，吸收了不少治理天下的道理和方法，又加上他善于審時度勢，多謀善斷，在事業上取得了很大的成就。
淳化三年（992），趙普拜為太師，封魏國公，當年七月因病去世，享年七十一歲。宋太宗聽到這一消息時非常悲痛，因此罷朝五日。追贈趙普為尚書令，追封真定工，謚忠獻。太宗并親自撰寫了神道碑以紀念他，并以八分書親筆書寫。