首先是衛(wèi)子夫年齡漸老。衛(wèi)子夫肯定是美貌絕倫，否則也抓不住皇帝，但人無十年好，花無百日紅。年老則色衰，色衰則愛弛，所以到了后來，衛(wèi)子夫雖貴為皇后，也很難見到皇帝一面。劉徹這時正沉醉在更年輕更漂亮的王夫人、李夫人、尹婕妤、趙鉤弋等美人的溫柔鄉(xiāng)里。其次是，皇太子劉據(jù)遺傳了母親敦厚的性格，而老爹劉徹卻聰明能干，反應(yīng)靈敏，多才多姿。他嫌他兒子不夠精悍，一點也不像自己。這兩種危機使衛(wèi)子夫母子產(chǎn)生了恐懼。劉徹也察覺到他們的不安，特別告訴身為最高統(tǒng)帥的衛(wèi)青：“皇太子敦厚好靜，一定可以安定天下，我還有什么可憂慮的。如果挑選守成的君主，沒有比皇太子更適合的人選。聽說皇后和皇太子惶惶終日，如果真有這回事，請他們了解我的本心?！毙l(wèi)青除了感謝皇恩浩蕩外，也暗自慶幸。

很多跡象說明劉徹也確實有這種心愿，他除了喜歡聲色犬馬外，跟秦王朝嬴政一樣，也喜歡云游四方，到處亂逛。劉徹每次離開首都時，就把朝政交給兒子劉據(jù)主持，把后宮交給衛(wèi)子夫主持。母子們戰(zhàn)戰(zhàn)兢兢，誠惶誠恐，所作的決定，劉徹?zé)o不十分滿意。

劉據(jù)對于死刑案件非常謹(jǐn)慎，如果發(fā)現(xiàn)是場冤獄，就立即加以平反。然而，劉據(jù)這種寬厚的性情卻引起了一班位高權(quán)重的酷吏的不安。他們最初不過竊竊議論，后來開始在劉徹面前婉轉(zhuǎn)攻擊。衛(wèi)子夫感覺事態(tài)嚴(yán)重，再英明的人都擋不住如火如荼的小報告，何況，她深知劉徹并不英明，她告誡兒子說：“遇到大事大獄，應(yīng)該留待老爹決定，你可不要自作主張?！钡牵瑒貐s每一次都支持兒子，認(rèn)為老妻太不坦誠。這更加深了酷吏群的恐懼。他們對劉據(jù)的陷害，無所不用其極。

公元前106年，衛(wèi)子夫的弟弟大將軍衛(wèi)青去世，太子的反對派們高興極了。母親失寵，舅舅又死，而宮廷中的父愛最不可恃，正是對劉據(jù)下手的時候。當(dāng)時，劉徹已經(jīng)52歲，大概感到來日無多，他變得更加荒淫，衛(wèi)子夫很難見他一面，所以反對派的攻擊就更加猛烈卑鄙。有一次，劉據(jù)進(jìn)宮晉見母親，大概逗留的時間稍久，小黃門蘇文就向劉徹告密說：“皇太子跟宮女們亂搞起來啦。”劉徹倒還聰明，非但沒責(zé)備，反倒立刻下令把太子宮的宮女增加到二百人。蘇文碰了一鼻子灰，心還不甘，他和他的宮門警衛(wèi)官同僚常融、王弼二位就更加緊收集劉據(jù)的過失。如果劉據(jù)沒有過失，他們就捏造過失，并在捏造的過失上，加油添醋，使它不但變成真實的，而且是嚴(yán)重的。衛(wèi)子夫?qū)λ麄兒奕牍撬?，曾跟兒子密商，要兒子稟報老爹，殺掉他們。劉據(jù)這時已29歲，危機四伏的環(huán)境，培養(yǎng)出他的政治警覺，他知道只殺掉幾個爪牙無補于事，反而更增加仇恨。而且，也未必能殺掉他們。他說：“我們以后只有更加小心，只要不做錯事，老爹英明，向來不信奸邪，沒啥可憂愁的?！鼻∏蓜赜行〔√纱?，教常融召喚劉據(jù)，常融回報說：“皇太子聽說您病了，臉上一團(tuán)高興?！眲叵癜ち艘挥洂灩?，一語不發(fā)。等了一會，兒子趕來，劉徹瞧他臉上有眼淚的痕跡，覺得不對勁，才知道差點上了常融的當(dāng)，大怒之下將常融處決。

劉據(jù)的淚痕顯然是偽裝的，然而，我們不能責(zé)怪劉據(jù)，斗爭的殘酷使他不得不用詐術(shù)以自保。

握有無限權(quán)力的人往往對死亡尤其恐懼，特別是怕死于非命，劉徹也不例外。他也知道壽命有限，所以，他采取兩項措施延長壽命。一是積極的，大肆招攬方士為他燒煉不死之藥。另一項是消極的，那就是嚴(yán)密地防范被人暗算。那個年代，人們堅信用巫術(shù)可以致人死亡，所以劉徹對巫術(shù)特別敏感?；屎箨悑芍员粡U且囚死長門宮，就是起因于她玩弄巫蠱。而衛(wèi)子夫一家也在巫蠱事件上遭了殃。

衛(wèi)子夫的姐姐衛(wèi)君孺是宰相公孫賀的妻子，他們的兒子公孫敬聲仗恃著背景雄厚，在長安城中，無惡不作。最后，終于因貪污軍餉一千九百萬錢，被人揭發(fā)。衛(wèi)家再大的巴掌，也遮不住這么大的犯罪。在法律上，只有死刑。公孫賀愛子心切，想出了一個自以為妙的辦法。原來當(dāng)時有個叫朱安世的俠客，劫富濟(jì)貧，殺贓官，救小民，連皇帝都大為震怒。可是，朱安世行俠仗義，朋友密布，雖然嚴(yán)令追緝，他仍逍遙首都。公孫賀對劉徹說，他愿捕獲這個“劇盜”來為兒子贖罪。劉徹答應(yīng)了。

在宰相的嚴(yán)厲督促下，朱安世終于落網(wǎng)，當(dāng)他聽到事情經(jīng)過后，笑道：“公孫賀想用我的性命去救他的兒子，我要教他滿門滅絕?！庇谑撬野l(fā)公孫敬聲的罪狀：如何跟劉徹的女兒陽石公主私通，如何在劉徹常走的御道旁埋藏詛咒用的木偶，用巫術(shù)詛咒劉徹趕快死掉。劉徹聞聽七竅生煙，下令將公孫賀逮捕，交由酷吏杜周偵查，一番嚴(yán)刑拷打兼軟欺硬騙，案情向四下蔓延，衛(wèi)家親屬幾乎牽連進(jìn)去一半，劉徹跟衛(wèi)子夫的兩位親生女兒陽石公主和諸邑公主也在其中。后來兩個公主雙雙自殺，衛(wèi)青的兒子衛(wèi)伉被斬首，公孫家所有男女則全部屠戮。為了營救一個犯法的兒子，使全族數(shù)百口被殺，衛(wèi)子夫的女兒、姐姐、姐夫、侄兒都死于非命。