埃德加·胡佛之所以被人們所熟知，主要是因為他在調查局所從事的工作。聯邦調查局從成立那天起，就已經預示著它將不是一個簡單的部門。在它后來的逐步發展中，自豪感以及成就感并駕齊驅，由此創造了一個美國歷史上政府部門的小神話。這一切，都源于胡佛對它傾注的一片心血。
升任調查局助理局長
美利堅合眾國肇始于反抗英國嚴酷統治的北美13個殖民地，“主權在民”思想傳統的存在，使民眾往往對政府權力持懷疑態度，因而與歐洲國家相比，它的民選職位最為普遍，官員的任期也普遍較短。作為國家元首、政府首腦、武裝部隊總司令的總統，自始至終按憲法和法律規定的期限和時間選舉，從不推遲或提前，即使戰時也是如此。在選舉中，政黨和政治活動家都能遵守“競賽規則”，至少表面上是如此。盡管在競選時爭奪激烈，勢不兩立，但在選舉結果產生后，落選者都能承認失敗，祝賀勝利者，體面地下臺（如系在職者），或聲稱下次選舉再決高低（如系在野者）；當選者則繼續執政或上臺執政。權力的轉移是有秩序地、和平地進行的，保持了政局的穩定，從未發生過武裝政變或宮廷政變改變政府的事例，這比起歐洲等其他地區國家，無疑是一種政治上的進步。
1920年，又是一個選舉年。美國的總統選舉程序非常復雜。從1832年以后，都是先由政黨代表大會提名總統候選人，爾后由選民間接選舉。因此，政治活動家的競選也分為兩個步驟：政黨候選人提名競選和正式選舉競選。
1920年6月，帕爾默前往舊金山，角逐民主黨總統候選人的提名，埃德加·胡佛這位得力干將也一同前往助陣。威爾遜為了國際聯盟的建立曾進行了艱苦的斗爭。國際聯盟是成立了，但其中沒有美國的參與。總統選舉的日子臨近了，威爾遜非常希望把大選變成人民對國聯問題所進行的一次莊嚴的公民投票。民主黨希望他能站起來，因為他就是國聯這個盟約的化身。但是，他的健康狀況已經使他力不從心了。1919年以后，他一度失去了言語能力，緊接著是突然的心跳紊亂，伴有呼吸困難，使他只能長時間地坐在床上茍延殘喘。與部長們接觸和治理國政的是威爾遜的夫人，她下令嚴守秘密，因為“威爾遜總統辭職將對國家產生不良后果，還會對他的健康造成負面影響”。就這樣，美國這艘航船由一個幽靈駕駛著，不時有一個立法案或否決案，經過那顫抖的手簽署之后，從白宮那個人跡難至的隱居所里發出來。
美國歷史上的總統競選，一直是在共和黨（驢黨）和民主黨（象黨）之間展開的。此番共和黨為了重奪江山，也陷入了長長的思索：它的全國代表大會一開始想提名赫伯特·克拉克·胡佛，利用他在戰爭期間曾領導多種國外救濟委員會和國內糧食機構的政績和聲望，一舉擊敗民主黨。也有人提名倫納德·伍德將軍，以及哥倫比亞大學校長尼古拉斯·默里·巴特勒。但是，共和黨的大多數人覺得，自從有了威爾遜這么一個人以后，美國對具有杰出思想的人已經厭煩了，因為在這樣一位總統治理下，作為“三權分立”一部分的國會只不過是一枚橡皮圖章罷了，必須另辟蹊徑，尋找一個最平庸的美國人，一個最可以讓人放心的人。這樣，來自俄亥俄州的參議員沃倫·甘梅利爾·哈定成了幸運兒，他選擇的副總統候選人是馬薩諸塞州州長卡爾文·柯立芝。
1920年11月，哈定在總統大選中取得了壓倒性勝利——1615.2萬票對914.7萬票。“這不僅是一次壓倒性的大勝利，這簡直是一次大地震。”報界如是說。威爾遜的痛苦思緒和他的病情一樣每況愈下，他說，美國已經放棄了“富有成果的領導地位，去換取那一無所獲的獨立政策……我們曾經有機會取得世界的領導地位，但我們失去了這個機會，而且我們很快就將親眼目睹這整出悲劇了”。或許是回光返照的緣故吧，威爾遜那癱瘓了的四肢漸漸恢復了生機。1921年3月4日，他勉強站了起來，陪同自己的繼任者去了國會山。
哈定早在他的就職演說中就宣布，美國并不冀求“參與支配世界的命運”，他對美國待在國聯外面無動于衷，因為國聯的存在在他眼里根本不值一提。一朝天子一朝臣。在哈定組成的內閣中，安德魯·梅隆入掌財政部，查爾斯·休斯任國務卿，赫伯特·胡佛負責商務部，約翰·威克斯執掌國防部，亨利·華萊士進了農業部，而司法部部長之職則由哈利·多爾蒂出任。
哈定似乎對“美國激怒起來”并不怎么擔心，他甚至親自接見了被釋放的社會主義者德布斯。不過，這也許只是因為美國面臨的“赤色危險”已變得微不足道的緣故，因為通過“帕爾默襲擊”，美國共產黨的人數已經銳減。而在多爾蒂看來，如果沒有清洗、沒有恐怖氣氛，司法部的權力基礎不就蕩然無存了嗎？因此，新政府上臺后，司法部對鎮壓共產主義者和“激進分子”仍然是不遺余力，只不過不像“帕爾默襲擊”時那樣大張旗鼓罷了。不僅如此，他還把調查的對象擴大到了國會參眾兩院的議員。按照“戰利品盡數歸于勝利者”的政治分贓制度，贏得大選的共和黨也得到了所有人事調配的大權。但政府機構的高效運作，需要訓練有素、“政治中立”的專門家，埃德加·胡佛就是其中的一個。他自我標榜說：“我對政治不感興趣，我不愿自己被貼上政黨的標簽。”
因此，在哈定政府上臺后，盡管自己的保護人帕爾默在政治上已淪為一具僵尸，但胡佛仍被提拔為調查局助理局長，這時的調查局局長是威廉·彭斯，他接替了于1921年因心臟病去世的威廉·弗林。與花前月下、卿卿我我地享受青春活力的同齡人不同，埃德加·胡佛仍舊過著類似于苦行僧的生活。沒有情人，沒有休息，盡管自進入司法部以來辦公室已換了多次，每天通宵達旦地工作的習慣卻一直保留了下來，整理、分析調查局事務。
輾轉于社交和家庭之間
1921年8月18日，司法部部長哈利·多爾蒂任命他的俄亥俄州的童年時的莫逆之交威廉·彭斯來掌管調查局。8月22日，多爾蒂任命年僅26歲的胡佛出任助理局長兼總管，年薪4000美元。助理局長負責全部行政事務并監督和指揮局內的日常工作，因而正需要像胡佛這樣頗具官場活動能力和指揮局務的人就任此職。
胡佛任助理局長的三年內，其工作不必像他在紅色恐怖時期那樣不遺余力、疲于奔命，因而他得以更充分地豐富了自己的社交生活。他開始在哥倫比亞鄉間俱樂部打高爾夫球，直至1936年他一直是該俱樂部的一名十分活躍的成員。與此同時，他在華盛頓共濟會（他的哥哥狄克介紹他入的會）的活動范圍也更為擴大。1920年11月9日，他獲得聯邦共濟會第一分會三級會員的崇高頭銜。1921年4月，他已擁有了皇家共濟會總會會員的所有職銜。三個月后，他參加了華盛頓社團第一分團。1922年8月1日，他被選為阿爾瑪斯圣殿會成員。
在此期間，胡佛還加入了大學俱樂部，成為全美理事會會員，獲得了該會閱覽室的使用權。在1922年，他被委任為軍事情報處預備役軍官。在擔任助理局長的幾年里，他一直保留著上尉軍銜，這就為他與軍事情報界之接觸大開了方便之門。在20年代，軍隊情報界同軍事偵察有著千絲萬縷的聯系。
雖然已經成了高官，但胡佛仍和雙親一起住在西沃德廣場413號。老狄克遜1917年從政府部門退休后一直患情緒失控癥，也許是抑郁癥，因而只好住進了馬里蘭州的勞拉療養院。當他返回家中時，他的情緒完全與之前判若兩人，他乖僻無常，粗魯無禮。1922年，老狄克遜·胡佛終于過世。胡佛后來將林肯總統和他兒子塔德的合影掛在自己位于華盛頓西北住宅的前廳里。這幅照片或能喚起胡佛對命途多舛的父親的懷念之情。
也許是為了幫助母親排遣孤獨感，1924年，胡佛家將狄克的長女瑪格麗特接到家中。這使瑪格麗特不必從馬里蘭州跑來跑去就在東區高中讀完了書。那時，狄克一家剛剛搬到馬里蘭。后來，瑪格麗特考入了師范學院，畢業后又考入喬治·華盛頓大學法學院就讀。此間，她一直住在西沃德廣場413號。瑪格麗特效法叔叔，在國會圖書館找了份工作，自謀生計，半工半讀。瑪格麗特和妹妹安娜都記得：奶奶將埃德加叔叔的那幢住宅收拾得井井有條、窗明幾凈，餐廳的鑲木地板“無時無刻不打著蠟，使人走起來如履薄冰”。胡佛母子倆的個性一個比一個強，因此偶爾也相互較量，互不相讓。安妮·胡佛喜歡終日掛著窗簾，埃德加則偏偏愿意讓陽光照進屋子里。胡佛每晚一回到家，就把窗簾拉開，而后就到自己房間里埋頭于他帶回家中的文件堆中。胡佛的侄女說：“這是智者之間展開的一種智慧對抗賽。”
每天早上，胡佛夫人總要讓一個女傭人幫忙準備早餐。埃德加下樓時，早餐必須準備就緒，而且還要合他的口味，否則必須返工。他早餐總是吃烤面包片夾水煮荷包蛋，沒咬幾口就將餐盤放在地板上喂狗。早飯后他就帶著狗去賓夕法尼亞大街替母親買早報，下班后又把狗帶出去遛。
毛頭小伙入主調查局
1923年8月，哈定總統因心臟病暴發死于舊金山，時年58歲。兩年的平庸統治，一言以蔽之，“聲名狼藉”。根據美國憲法第二條第一款規定，副總統加爾文·柯立芝成為美國的第30任總統。
與哈定不同，柯立芝居官廉潔自好，任何銀行大亨、工業巨頭都不能收買他——當然，他們也無須收買他，因為柯立芝天生就是資本家利益的化身：他信奉的是亞歷山大·漢密爾頓那套富者、智者的哲學，而不是以杰斐遜或威爾遜為代表的“民主”思想。“一個人失業，那是他自己的錯”，這就是柯立芝的立場。柯立芝上臺后，對政府機關的腐敗作風進行了整肅，撤換了一大批高級官員。即使按照哈定時代彌漫全國的腐敗風氣來看，調查局也是非常突出的。調查局的特工中許多人本身就有犯罪記錄，他們成為“管理小流氓的大流氓”后劣性更甚，竟然把一些調查文件和檔案復制后出售給罪犯；司法部歷任部長，如帕爾默、多爾蒂等，為了實現自己的政治野心，公開授命調查局運用非法搜查或偷竊手段收集政敵的材料。為了杜絕這種活動，柯立芝任命一直大力抨擊和批評帕爾默等人的前哥倫比亞大學法律系主任哈蘭·斯通擔任了司法部新任部長。新官上任三把火。斯通很快展開了重組調查局的一系列步驟，首先是把“道德素質差、工作水平低”的有關人員調出去。他下令：“調查局的工作必須從政治中脫離出來，不應當再作為政治打手們的垃圾箱，必須根據德行加以任用。其次，人員的提拔應以其業已顯示的能力為基礎，調查局將只能由司法部部長負責。”據此，伯恩斯被從調查局局長職位上攆走。一直在帕爾默、多爾蒂、伯恩斯麾下效犬馬之勞的埃德加·胡佛如坐針氈，擔心自己面臨重找工作的前景。
1924年5月10日，斯通把胡佛叫到了自己的辦公室。后者滿心以為自己即將被掃地出門，不料，斯通卻大聲地對他說：“小伙子，我要你當代理局長。”一朝天子一朝臣。早在“帕爾默襲擊”中，年僅23歲的埃德加·胡佛就展示了自己出眾的才華和能力，再加上他事無巨細一律一絲不茍的工作態度，不要家庭的溫暖和情侶的溫馨而是一心撲在工作中的“獻身”精神，當然符合斯通所提出的任用和提拔標準。馬上打天下，馬下治天下。在野者盡可以冠冕堂皇地高擎著“公”的旗幟，道貌岸然地宣揚“平等、自由、博愛”“民有、民治、民享”，但一朝權在手，還是要祭起馬基雅弗里主義的法寶，還是需要誣陷、告密、綁架、暗殺、竊聽，正如英國思想家洛克所說：“誰認為絕對權力能夠純潔人們的氣質和糾正人性的劣根性，只要讀一下當代或其他任何時代的歷史，就會相信適得其反。”“萬千美德集一身”的柯立芝、斯通之流又能逃出這條政治上的鐵律嗎？而他們要保住自己舶“天下”，必然需要從事各種被他們批評過的隱蔽活動的專門家。不管是共和黨還是民主黨，不管是左翼還是右翼，不管是保守派還是自由派，不管是明目張膽還是心存顧忌，凡是當權者，盡管臺上臺下相互攻訐鬧得不亦樂乎，其骨子里都是如出一轍，都是代表著資本家的利益，都離不開特務政治和秘密警察。這一次，柯立芝和斯通先生選中了久經考驗的埃德加·胡佛。
這樣，胡佛在1924年5月10日，繼斯坦萊·芬奇、布魯斯·比拉斯基、威廉·弗林、威廉·伯恩斯之后，成了調查局的第五任負責人（調查局的前身是1908年成立的特工隊），時年僅僅29歲。從此，這個崗位將成為他政治生命的搖籃和墳墓，伴隨他走過近半個世紀的歷程，伴隨他先后經歷柯立芝、赫伯特·胡佛、羅斯福、杜魯門、艾森豪威爾、肯尼迪、約翰遜、尼克松等8位美國總統任期，伴隨他走上“美國英雄”的祭壇，成為“一個偉人，一個勇敢、愛國主義、忠誠的全國象征”（尼克松語）。