西漢漢宣帝在位時期，匈奴歸降漢朝，宣帝回憶起從前的功臣，便命人畫了十一名功臣的圖像于麒麟閣，后世之人都視麒麟閣功臣為人臣榮耀之最。

麒麟閣十一功臣之首便是西漢著名權臣霍光，其次便是張安世。張安世有一個哥哥名叫張賀，此人算是漢宣帝的撫養人。

張賀與張安世都是漢武帝時期著名的酷吏張湯的兒子，后來張賀成為了衛太子劉據的門客，效忠于太子劉據。

張湯為官清廉，但卻因執法嚴苛得罪了很多人，他的政敵們合起來謀害他，最后張湯因無法自證清白而自殺。張湯死后，漢武帝發現張湯所有家產也沒超過五百金，便知張湯之死另有隱情，等查明真相，知道張湯的冤情以后，張湯已經死了。漢武帝對張湯感到愧疚，便處死了陷害張湯的一干人等，還提拔了張湯之子張安世的官職。

后來，江充陷害太子劉據用巫蠱謀害武帝，武帝大怒，派江充徹查此事。太子劉據無法找到證據證明自己的清白，又被江充逼得走投無路，最后他殺了江充，逃至湖地自殺。

武帝一開始以為太子劉據是畏罪自殺的，因此太子劉據的家人和門客全部被處以死刑，張賀就在這批人當中。

張安世為了保住哥哥的性命，上書向漢武帝求情。武帝念及當年張湯的功勞，便赦免了張賀的死罪，但將其處以宮刑。

張賀與太子劉據素來交好，他知道劉據是被冤枉的，當得知太子還有唯一的血脈活在世上時，他感慨萬分，當即便下定決心要將太子的后代撫養長大。

太子劉據自殺以后，他的妻子兒女都死了，在這場災禍中唯一活下來的只有劉據的孫子劉病已。那時劉病已剛出生不久，就被關進了監獄。

廷尉監丙吉多番照顧劉病已，幫助劉病已躲過了好幾次劫難。后來太子劉據的巫蠱之案的真相水落石出，武帝為劉據平反，劉病已才得以出獄，被送到掖庭撫養。

張賀成為太監以后，便有了出入掖庭的機會，當劉病已被送到掖庭以后，他便盡心盡力的照顧劉病已，還親自擔任劉病已的啟蒙老師，教他讀書認字。除了平日所需的開銷，劉病已其他的費用全是張賀自掏腰包的，他就像是劉病已的養父，無微不至的將劉病已撫養長大。

張賀擔任掖庭令，他掌管著掖庭和冷宮，平常還是有機會與弟弟張安世見面，只不過他每次見到弟弟，除了聊聊家常以外，說得最多的就是劉病已才干出眾，他恨不得將劉病已夸上天。

當然了，在每個父親的心目中，自家兒子總是最棒的。等劉病已長到娶親的年紀，張賀又開始張羅劉病已的婚事。最初，張賀打算將自己的孫女嫁給劉病已，但是被張安世勸阻了。后來，張賀見下屬許廣漢的女兒許平君條件不錯，便撮合了二人。

劉病已與許平君感情身后，兩人婚后生下一子。可惜的是，張賀沒能活著見到他一手撫養長大的劉病已登基為帝。劉病已登基以后改名為劉詢，是為漢宣帝，他感激張賀對他的撫養之恩，便追封張賀為陽都侯，謚為哀侯，還派了兩百戶百姓專門給張賀守墓。

張賀有一孫子名張霸，只有七歲，宣帝將其封為關內侯，還任他為散騎中郎將。