話說宣帝即位以來，已有六年，所有朝政，仍委任霍光辦理。霍光每入朝見奏事，宣帝見了，立即起座斂容，十分恭敬，所有言語，虛心聽受，不肯自出主意；霍光秉政前后二十年，到了地節二年春，年老得病，漸漸沉重，宣帝聞知，駕臨霍光家中，親到榻前問病，知得病勢已危，醫藥難以挽救，不禁為之涕泣。及宣帝回宮，霍光上書謝恩，并請分自己封邑三千戶封侄孫霍山為列侯，以奉兄去病之祀。宣帝見書，發交丞相御史議奏。即日拜霍光之子霍禹為右將軍。不過數日，霍光病死。宣帝及上官太后親來祭奠，使太中大夫任宣及侍御史五人持節護理喪事，中二千石以下官吏監修墳墓，賜以御用衣衾棺椀。到了葬日，靈柩裝入辒辌車中，前導儀仗，逐隊排列，首尾長有數里。滿朝文武百官皆來送葬。喪車裝飾異常華麗，并用黃屋左纛，一如帝制。又自長安直至茂陵，一路皆有軍隊陳列。此一段風光，不亞于天子出喪，哄動長安士民，扶老攜幼，齊來觀看。宣帝下詔賜謚宣成侯，遣官為起墳墓祠堂，置園邑三百家，設官看守，依時祭奠。清人謝啟昆有詩詠霍光道：風采人瞻博陸侯，端居畫室贊皇猷。放桐伊尹阿衡重，負扆周公側席求。驂乘禍萌芒刺背，徙薪計失客焦頭。家奴盡倚將軍勢，悔不封章發逆謀。宣帝自霍光死后，始行親理政務。此時丞相蔡義已死，韋賢為丞相，魏相為御史大夫。韋賢字長孺，魯國人，為人質樸少欲。勤于學問，博通經書，時人稱為鄒魯大儒，曾教昭帝讀詩，官至大鴻臚。本始三年代蔡義為相，封扶陽侯，食邑七百戶。魏相字弱翁，定陶人，少學易，被舉賢良，為茂陵令，擢河南太守，禁暴除奸，豪強畏服。是時適值丞相田千秋病死，其次子為洛陽武庫令，平日見魏相治郡甚嚴，如今又失了父親，心恐在官日久，不免因過失得罪，遂即辭職而去。魏相聞知，急遣屬吏前往追之，意欲將他喚回。田千秋次子竟執意不肯。屑吏無法，只得回報魏相。魏相頓足道：“大將軍聞知此人去官，必以為我見丞相已死，不肯善待其子，使他因此見怪，吾勢危矣！”因此魏相心中悶悶不樂。后來田千秋次子到了長安，大將軍霍光聞知，果然責備魏相道：“今幼主新立，大局未安，函谷乃京師要地，武庫為精兵所聚，故以丞相弟為關都尉，子為武庫令。

今河南太守不深思國家大計，一見丞相不在，便即斥逐其子，用意何其淺薄。”魏相受此責備，真是冤枉，此時便要辯白，霍光也不肯信。過了一時，有人告發魏相殺死無辜之人。霍光便發交有司拘提魏相訊辦。一時在京河南成戌二三千人，聞知此事，一齊攔住霍光車前說道：“情愿再留京師作工一年，以贖太守之罪。”又有河南百姓老弱萬余人，守住函谷關，意欲入關上書懇求釋放魏相，關吏不敢放其入關，只得報聞朝廷。霍光卻為前事心恨魏相，不聽人要求，竟將魏相交與廷尉下獄。魏相在獄經年，恰遇大赦得出。此時霍光怒氣已平，又見魏相深得民心，遂使試署茂陵縣令，后又擢為揚州刺史。魏相考察各郡國守相不稱職者，盡行劾奏，多被貶逐。時光祿大夫丙吉，素與魏相交好，見其鋒棱太露，恐又因此得罪，遂作書勸道：“朝廷已深知弱翁才干，望稍謹慎自重。”魏相得書，深以為然，于是一切從寬，后復為河南太守。宣帝即位，召人為大司農。本始三年，擢御史大夫。至是霍光既死，其于霍禹已為右將軍，嗣爵博陸侯。魏相心恐霍禹擅權，遂上書請拜張安世為大將軍以代霍光之位。宣帝亦有此意，詔書未下，安世已有所聞，心中甚懼，乃入見宣帝說道：“老臣妄有所聞，言之算是冒昧，不言則下情不達，老臣實自量不足以居大位，繼大將軍之后，愿陛下哀憐，曲全老臣之命。”宣帝聞言笑道：“君言太謙，君尚不可，更誰可者？”安世叩首固辭，宣帝不許，遂拜安世為大司馬車騎將軍領尚書事。宣帝又思念霍光功德，并記起霍光臨死曾請封兄孫霍山，遂下詔封霍山為樂平候，以奉車都尉領尚書事。到了次年，宣帝始封許后父許廣漢為平思候，又封霍光兄孫中郎將霍云為冠陽侯，霍氏一門三侯。霍顯此時居然為了太夫人，與馮子都同居，儼如夫婦。霍光在時自作墳墓，霍顯嫌其狹小，重行改作，規模甚是闊大，三面起闕，建筑神道，北臨昭靈館，南出承思館。并修飾祠堂，起閣道，通連永巷，盡幽霍光妾婢以守之。又大治第宅，自作乘輦，上畫五彩，涂以黃金，錦繡為茵，以熟皮及絲綿包裹車輪，使侍婢用五彩絲繩挽車游行宅中。霍禹、霍山亦皆修建住屋，極其華麗。又不時出外游行，馳逐平樂觀一帶。霍云更是放蕩，每當朝見之日，往往假稱疾病，私自出外，帶領許多賓客架鷹牽犬，到了黃山苑中，張圍大獵，卻使蒼頭奴持了名帖，上朝掛號。

有司畏其勢力，不敢責備。霍顯又與諸女任意出入長信宮，日夜無度。魏相本與霍氏意存芥蒂，今又見此情形不成事體，便請許廣漢帶領入見宣帝，面奏此事。魏相既見宣帝，便說道：“自后元以來，政歸大臣，今霍光已死，其子霍禹復為右將軍，兄孫霍山現居政府，兄弟諸婿皆據高位，職掌兵權。霍光夫人顯及諸女，在長信宮皆有名籍，或夤夜稱詔，開門出入，驕奢放縱，恐漸不制，宜設法減奪其權，破其陰謀，以固萬世之基，并可保全功臣之后。”宣帝自在民間，久聞霍氏貴盛，其家人倚勢橫行，種種不法，心中已是不喜，因看霍光面上不便究問。今聞魏相之言，甚合其意，點頭稱善。又過數日，魏相復由許廣漢面請宣帝，除去副封，以免壅蔽。原來舊例人民上書，須備正副兩封，先由領尚書者開拆副封觀看，若是所言不善，便將原書擱起不奏。今宣帝依從魏相之言，除去副封，人民所上之書，不須由霍山過目。霍山雖領尚書事，但已毫無權力。宣帝既親信魏相，遂命為給事中，與之計議。又準令群臣單獨進見言事。霍顯雖然日事淫樂，卻也留心朝政，見此情形，知是不妙，因喚集霍禹及霍山、霍云等說道：“汝輩不思奉承大將軍遺業，保全自己地位，今御史大夫得為給事中，汝輩須當留意，若使他人進言離間，將來何以自救？”霍禹等聞言尚不在意。誰知不久恰又鬧出事來。說起霍氏一班家奴，當霍光在日，倚借主勢，氣焰凌人，誰敢向他得罪？如今霍光雖死，他一向驕橫已慣，更不肯稍稍斂跡。一日霍氏家奴與御史大夫家奴同在路上行走，偏是冤家路窄，兩下相遇，各欲他人讓路，彼此爭執良久。霍氏家奴大怒，率領一眾闖入御史府中，府中人等見了，連忙關上大門。霍氏家奴便欲動起手腳，踏破大門。

御史聞知，連忙對眾叩頭謝罪，方始息事。在御史也只得忍辱吞聲，不與計較。旁人見了，卻甚不平，一時議論紛紛，都說霍氏家奴目無法紀，欺人太甚。霍顯等聞之，方知憂懼。此時丞相韋賢年老多病，便向宣帝辭職，宣帝賜以黃金安車駟馬歸第。漢時丞相致仕，算韋賢為第一人。于是宣帝遂拜魏相為丞相，以丙吉為御史大夫，二人同心輔政，宣帝甚加倚任。魏相不時入見宣帝，商議政事。宣帝又寵信平恩侯許廣漢及侍中金安上，許其任意出入宮中。安上字子候，乃金日磾之侄，地節元年曾舉發楚王劉延壽反謀，賜爵關內侯。安上為人謹厚有智略，深得宣帝愛重。霍顯及霍禹等見諸人得勢，心中妒忌，因此甚加嫌惡。霍顯更是擔憂，卻又不便告知他人，只是長日悶悶不樂。讀者試想霍顯何事擔憂，只因前次毒死許后，犯了彌天大罪，惟恐被人得知。偏是俗語有云：“若要人不知，除非己莫為。”當日許后死得不明不白，外間已自有人議論，又見淳于衍得釋出獄，忽然發了一筆大財，大眾早猜到其中必有原因。及霍氏得立為后，眾人遂皆恍然，但礙著霍光尚在，不敢多言，恐致惹禍。如今霍光已死，便又有人將此語到處傳播，卻被宣帝聞知，心中也覺可疑，暗想此言如果屬實，必須嚴行究辦，為許后報復冤仇。惟是眾口喧傳，未得確實證據，尚難發作。且霍氏子弟親屬布滿朝廷，大抵手握兵權，勢力甚大，要想懲治，亦難下手。如今既有此等風聞，霍氏萬難親信，須趁此時逐漸削其權力，免貽后患。宣帝于是召到魏相等密議處置之法。原來霍光自上官桀謀反發覺之后，心恐被人暗算，于是任用女婿度遼將軍范明友為未央衛尉，次女婿中郎將任勝為羽林監，又以長女女婿鄧廣漢為長樂衛尉，中女女婿趙平為散騎騎都尉光祿大夫，帶領戍兵；姊婿張朔為光祿大夫給事中，孫婿王漢為中郎將，今霍禹又為右將軍，朝中兵權，皆屬霍氏。在霍光原是一心為國，但為防患起見，免遭他人毒手，誰知威權太重，反致惹人疑忌。當日宣帝與魏相商議已定，先將范明友移為光祿勛，出任勝為安定太守。過了數月，又出張朔為蜀郡太守，王漢為武威太守，不久復移鄭廣漢為少府，以霍禹為大司馬，尊以空名，使與霍光同官，其實并無印綬官屬，遂盡收諸人兵權。另用許史二家子弟為將，拜張安世為衛將軍，所有兩宮衛尉城門北軍屯兵皆歸統屬。霍禹明知宣帝奪其兵權，心中憤郁，遂稱病不肯入朝。一日坐在家中，忽見外間傳報有人前來拜訪。霍禹看了名帖，乃是熟人，便命請入。其人走進，一見霍禹，啟口問玻霍禹聽了，不禁長嘆一聲，便將心事說出。未知來人是誰。