姚崇在“十事要說”中，有好幾處是講到整頓吏治的。玄宗對這些意見完全贊成，因為他深知吏治敗壞是中宗以來一直存在的問題。韋后、安樂公主為了擴大自己的勢力，用高官厚祿來網羅親信死黨，也用賣官鬻爵來搜刮錢財。當時花錢30萬，就可以別降墨敕，斜封付中書授官。這種斜封官的任命，不通過正常的考選途徑，不能保證任官者具有合格的素質。斜封官補授沒有限制，員闕不夠，就置員外官，多達數千人。“時政出多門，濫官充溢，人以為三無坐處，謂宰相、御史及員外官也。”吏治的敗壞達到無以復加的地步。

睿宗朝初期，宋璟任檢校吏部尚書、同中書門下三品，李義、盧從愿為吏部侍郎。姚崇任兵部尚書、同中書門下三品，陸象先、盧懷慎為兵部侍郎。他們都為官清正，不徇私情，文武選舉，取舍平允，銓綜有敘，又罷去斜封、待闕、員外等官數千人，使吏治的情況好了一陣子。不久，由于太平公主干權弄政，姚、宋被貶職，斜封官又重新起用，賄賂公行，任人唯私，吏治的腐敗一如中宗之世。

玄宗從睿宗那里接過來的官僚隊伍是一支冗員眾多、素質不良、辦事效率極低的隊伍。他必須整頓和改造現有的官僚隊伍，使之變得精干、有效率，才能使整個國家機器有力地運轉起來。

玄宗整頓、刷新吏治，首要的是物色正直干練的宰相。他即位之初，排除阻力，任用姚崇，表明對宰相人選的重視。姚崇于開元四年十二月罷相，原因是他的兩個兒子光祿少卿姚彝和宗正少卿姚異，“廣通賓客，頗受饋遺，為時所譏”。姚崇的親信、主書趙誨，接受胡人賄賂，事情敗露，玄宗親自審問，下獄當死。姚崇竭力營救，引起玄宗的不滿，在赦免京城罪犯時，敕令特別標名趙誨，令杖刑一百，流于嶺南，“崇由是憂懼，數請避相位”。對于兒子和親信的貪污受賄問題，姚崇采取竭力回護的態度，很可能是他自己在為政上還不夠清廉的緣故。

姚崇辭去相位時，推薦宋璟繼任宰相。宋璟是邢州南和（今屬河北）人，“少耿介有大節，博學，工于文翰”[65]，為官剛直，深受武則天器重。武則天晚年，張易之、張昌宗弄權，氣焰囂張，傾朝附之，宋璟卻屢次挫折二張。長安三年，二張誣陷宰相魏元忠謀反，用高官厚祿誘使鳳閣舍人張說作偽證。宋璟對張說說：“名義至重，不可陷正人以求茍免，緣此受謫，芬香多矣。若不測者，吾且叩閣救，將與子偕死。”[66]這番義正詞嚴、大義凜然的話，使張說深為感動，在武則天面前揭露了二張逼迫他作偽證的行為。中宗時，宋璟因拒絕武三思請托，被排擠出京，歷任杭州、相州刺史。睿宗即位，宋璟與姚崇一起為相，輔佐睿宗。玄宗當時是太子，宋璟兼太子右庶子，因維護玄宗，得罪太平，出為睦州刺史。姚崇罷相后，宋璟從廣州都督任上返京，玄宗派內侍將軍楊思朂前往迎接。“璟風度凝遠，人莫測其際，在途竟不與思朂交言。思朂素貴幸，歸，訴于上，上嗟嘆良久，益重璟。”宋璟為相，正直無私，賞罰公平。他精心選拔人才，量才授職，人盡其才。敢于犯顏直諫，據理力爭，使玄宗對他心存敬畏，有時雖不合意，也不得不聽從他的意見。宋璟以直言敢諫、剛正不阿著稱，在相位三年多，總體上是繼續執行姚崇制定的政策，創建不多。史稱：

姚、宋相繼為相，崇善應變成務，璟善守法持正；二人志操不同，然協心輔佐，使賦役寬平，刑罰清省，百姓富庶。唐世賢相，前稱房、杜，后稱姚、宋，他人莫得比焉。

姚、宋之后，至開元二十四年（736）十一月張九齡罷相之前，先后任宰相的還有：盧懷慎、蘇颋、杜暹、蕭嵩，裴光庭、韓休、宇文融、裴耀卿、李林甫等。他們雖然品德才識高下不同，但都各有所長，為一時人選。司馬光曾評論說：玄宗“即位以來，所用之相，姚崇尚通，宋璟尚法，張嘉貞尚吏，張說尚文，李元□、杜暹尚儉，韓休、張九齡尚直，各其所長也”。《新唐書》的作者也說：“開元之盛，所置輔佐，皆得賢才……朝多君子，信太平基歟！”[67]宰相賢明，是盛世太平的基礎。

玄宗選拔宰相十分慎重，在使用他們時，大膽放手，充分信任。玄宗和姚崇之間有段著名的故事：

姚元之嘗奏請序進郎吏，上仰視殿屋，元之再三言之，終不應。元之懼，趨出。罷朝，高力士諫曰：“陛下新總萬機，宰臣奏事，當面加可否，奈何一不省察！”上曰：“朕任元之以庶政，大事當奏聞共議之。郎吏卑秩，乃一一以煩朕邪！”會力士宣事至省中，為元之道上語，元之乃喜。聞者皆服上識君人之體。

《新唐書》的作者也高度評價了這件事：“由是進賢退不肖而天下治。”[68]所謂玄宗“識君人之體”，就是說他能正確處理與朝臣的關系，懂得禮敬朝臣，尊重制度，不濫用權力，對一些具體事務不加干涉。玄宗的這種態度是有利于達到“天下治”的。

玄宗使用宰相有幾個特點：一是有主有從，人數不多。武后、中宗時，宰相很多，少則六七個，多則十幾個。玄宗用相一般是兩三個，并以其中一人為主。姚崇為相，玄宗選擇盧懷慎同時為相。盧懷慎為山東著姓，進士出身，為人清謹儉素，不營資產，所得奉賜，都分散給親戚故舊，自己“妻子不免饑寒，所居不蔽風雨”。盧的品德雖好，辦事能力卻很差，遇事總推給姚崇處理，故有“伴食宰相”之稱。有次姚崇因事請假十余日，公事堆積很多，盧懷慎束手無策，不會處理，只好向玄宗請罪，玄宗對他說：“朕以天下事委姚崇，以卿坐鎮雅俗耳。”話講得很透徹。就是說，任命盧為相，主要是借重盧的人品和聲望，并不希望他有所作為，或者，玄宗所希望的正是盧的無所作為而便于姚崇放手管理天下事，有所作為。可見玄宗在宰相的配置上是頗費心計的。宋璟和蘇颋同時為相的情況，大致相同。“颋遇事多讓于璟，璟每論事則颋為之助。”兩人配合默契。姚、宋之成為著名的賢相，除他們個人的品德才干外，是和玄宗為他們選擇了恰當的助手以及助手們的精誠合作分不開的。

二是任期不長，一般三四年。“開元初，輔相率三考輒去，雖姚崇、宋璟不能逾。”[69]宰相的去職，都有一些具體原因。這些具體原因是否就一定構成宰相去職的理由，關鍵是看玄宗的態度。姚崇因趙誨事件而辭職，以他的精明干練和宦途經驗的豐富，應當是從玄宗的不滿中看出玄宗不準備再用他為相了，才主動遞上辭呈的。趙誨事件不過是玄宗想換宰相的口實。姚崇罷相后，玄宗還經常就朝政大事征詢姚崇的意見，也可說明這點。玄宗頻繁地調換宰相，一方面是適應形勢的變化和政策改變的需要，同時是為了防止宰相個人勢力的過分增長。玄宗對宰相的使用是放手的，他給予宰相較大的權力，有利于幫助他治理天下。他又不想因此使大權旁落。解決這種既信任又不信任的矛盾，最為穩妥和可行的辦法，就是適時地更換宰相。

三是各樹朋黨者，一齊罷免。宰相之間，宰相與朝臣之間有時不能很好合作，發生矛盾糾紛，嚴重者，各樹朋黨，互相攻擊。開元十五年（727），“御史大夫崔隱甫、中丞宇文融，恐右丞相張說復用，數奏毀之，各為朋黨。上惡之。二月，乙巳，制說致仕，隱甫免官侍母，融出為魏州刺史”。開元十七年（729）宰相李元□與杜暹不和，“元□、暹議事多異同，遂有隙，更相奏列，上不悅。六月甲戌，貶黃門侍郎、同平章事杜暹荊州長史，中書侍郎、同平章事李元□曹州刺史”。開元二十一年（733）宰相韓休與蕭嵩不和，“韓休數與蕭嵩爭論于上前，面折嵩短，上頗不悅。……嵩罷為左丞相，休罷為工部尚書”。對于朝臣之間發生的權力之爭、意氣之爭，玄宗采取不問是非、雙方同時罷免的辦法，是防止朋黨傾向繼續發展的有效措施。

玄宗整頓和刷新吏治，還非常注意官吏的選拔。他親政之始，就公布了有周利貞、裴談、裴棲貞等13人的酷吏名單，敕令將他們“終身勿齒”[70]。開元十三年，玄宗再次敕令將還健在的酷吏來子珣等長流嶺南，酷吏子孫不許出仕。在公布酷吏名單的同時，開元二年五月，玄宗下令全部罷免員外官、試官和檢校官，規定這三項官，今后非有戰功或別敕特行錄用外，吏部和兵部不得給授。廢止酷吏和罷免冗官是姚崇在“十事要說”中提出的，玄宗很快實行，糾正武后、中宗以來吏治中的這兩大弊病，有利于改善官吏素質和嚴格官吏的選拔。

在選授官吏上，玄宗控制很嚴，發現問題，及時解決。開元四年，有人向他反映，“今歲吏部選敘大濫，縣令非才”。在新選縣令入宮辭謝時，玄宗出安人策一道，對他們進行考試，只有鄄城令韋濟文理第一，升為醴泉令，其余二百人不及格，暫且先讓他們上任，有四十五人成績太差，“放歸學問”，讓他們回家攻讀。負責典選的吏部侍郎盧從愿、李朝隱都因此貶為外州刺史。在選任官吏時，玄宗對自己的一些不恰當的決定，能夠虛懷納諫，及時改正。申王成義請以其府錄事（從九品上）閻楚珪為參軍（正七品上），玄宗已經同意，宰相姚崇、盧懷慎認為不妥，他們說：“量材授官，當歸有司，若緣親故之恩，得以官爵為惠，踵習近事，實紊紀綱。”玄宗聽從宰相的意見，不再任命閻楚珪為參軍，從此請托求官行不通了。岐山令王仁琛系玄宗為臨淄王時的故吏，又是王皇后的親戚，玄宗念及舊情，墨敕令給五品官。宰相宋璟堅持任官應根據有關條例，由吏部檢勘，酌情給授。玄宗聽從宋璟的意見，收回了已下的敕令。由于玄宗的重視和以身作則，開元時期選官是嚴格的，出現了盧從愿、李朝隱、王丘、席豫等一批以知人善任出名的官吏，選官恰當是吏治清明的先決條件。

在整頓吏治中，玄宗尤其注意對縣令、刺史等地方長官的選用。唐前期，一直存在重京官、輕外官的風氣。有才干、有學識的人都愿意在京為官，京師聚集了大批優秀人才，地方官吏的素質相對就差些。中宗以來，這個問題更為嚴重。韋嗣立曾指出：“刺史、縣令，近年以來，不存簡擇，京官有犯及聲望下者方遣刺州，吏部選人，衰耄無手筆者方補縣令，以此理人，何望率化！”為了扭轉這種狀況，玄宗反復強調地方官的重要性，他在詔令中一再指出，“撫字之道，在于縣令”[71]，“親百姓之官，莫先于邑宰”[72]，“戶口安存，在于撫育，移風易俗，莫先令長。知人不易，選此良難”[73]。在玄宗看來，地方官吏是親民之官，他們的好壞，直接關系著統治效率的高低和百姓的疾苦，所以他在七月誅滅太平之后，諸事繁忙，日理萬機的情況下，地方官吏的情況就是他最先過問的事情之一。九月二十六日，再設右御史臺，督察各州。十月初一，召見京畿縣令們，告誡他們年歲饑荒要賑養人民。十二月十三日，下敕：“都督、刺史、都護將之官，皆引面辭畢，側門取進止。”玄宗規定接見將赴任的地方官吏，既示以尊崇，也便于了解地方的情況。

玄宗為了提高地方官吏的素質和聲望，改變重內輕外的風氣，開元二年正月十三日下令“選京官有才識者，除都督、刺史，都督刺史有政跡者，除京官，使出入常均，永為恒式”。在京官與外官之間實行對流交換。后來又進一步規定：“自今已后，三省侍郎有闕，先求曾任刺史者。郎官闕，先求曾任縣令者。”[74]還規定：“京官不曾任州縣官者，不得擬為臺省官。”[75]把擔任地方官作為選任京官的重要資歷。這些都是鼓勵、促使京官外任，重視地方官的措施。開元八年，宰相源乾曜主動上疏說：“臣竊見形要之家，并求京職，俊義之士，多任外官。王道平分，不合如此。臣三男俱是京任，望出二人與外官，以葉均平之道。”[76]這里透露出京官中有相當數量的形要之家的子弟。玄宗肯定了源乾曜的要求，令文武百官中父子兄弟三人并任京官者，自相通融，出任外官。由此公卿子弟由京官出任外官者百余人，既充實了地方政府，也疏導了官僚子弟聚集中央機構的狀況。開元十六年（728），玄宗還親自選擇朝臣許景先、源光裕、寇泚等十一人出任刺史，他們離京時舉行了盛大的送別儀式，宰相、諸王、御史以上都參加。玄宗寫了《賜諸州刺史以題座右》一詩，詩中諄諄告誡刺史們：“視人當如子，愛人亦如傷。講學試誦論，阡陌勸耕桑。虛譽不可飾，清知不可忘。求名跡易見，安貞德自彰。訟獄必以情，教民貴有常。恤惸且存老，撫弱復綏強。”[77]詩的結尾說：“勉哉各祗命，知予眷萬方。”表達了他對刺史們寄予的厚望。

加強對官吏的監察，是玄宗改善吏治的重要措施。為此，他大力支持御史的工作，充分發揮御史臺的作用。御史李杰正直敢言，盧懷慎說他：“勤苦絕倫，貞介獨立，公家之事，知無不為，干時之才，眾議推許。”[78]開元三年李杰糾彈貪暴不法的京兆尹崔日知，反被崔日知構陷成罪，侍御史楊玚上奏說：“若糾彈之司，使奸人得而恐愒，則御史臺可廢矣！”玄宗完全支持楊玚關于保護御史權宜的建議，馬上下令李杰照舊任職，貶崔日知為歙縣丞。后來，在處理皇后妹夫尚衣奉御長孫昕毆打李杰的事件中，不僅僅反映了玄宗對外戚橫行的打擊，也反映了他對御史的尊崇。

為了嚴格對御史和縣令的考核，玄宗專門頒布了《整飭吏治詔》，規定：“每年十月，委當道按察使較量理行殿最，從第一等至五等奏聞較考，仍使吏部長官總詳覆。”[79]考核情況作為任免升降的依據。如：“刺史第一等量與京官。若要在州未可除改者，紫微黃門簡勘聞奏，當加優賞。”[80]為了便于對地方官吏考查監督，加強中央集權，開元二十一年，玄宗下令將全國分為15道，各道設采訪使，有常設的辦公機構。采訪使“以六條檢察非法，兩畿以中丞領之，余皆擇賢刺史領之。非官有遷免，則使無廢更。惟變革舊章，乃須報可，自余聽便宜從事，先行后聞”。可見采訪使是相對穩定并有相當自主權的官職，它的職務是協助皇帝督察地方官吏。

玄宗對中央機構和官吏的監察也加強了，作了一些制度上的改進：按太宗貞觀之制，中書、門下及三品官入朝奏事，必須有諫官、史官伴隨，有過失便于即時匡正，好壞一定要記錄，各司都在正牙奏事，御史有權當眾彈糾官員。貞觀時代的這些規定，表明宮廷政治有一定的民主性和透明度。高宗、武則天時，許敬宗、李義府當權，這種制度開始被破壞，奏事官員往往在仗衛百官退朝后，把皇帝左右的人摒開，秘密上奏，御史、史官皆不得與聞。這就為奸臣的進讒為惡大開方便之門。開元五年九月，宋璟向玄宗建議恢復貞觀舊制，玄宗下制說：“自今事非的須秘密者，皆令對仗奏聞，史官自依故事。”恢復了宮廷政治生活中的有限的民主和透明度，對改善吏治起了良好的作用。