过了年余霍去病病死，武帝十分痛惜，谥为景桓侯，赐葬于茂陵之旁。命其子霍嬗嗣袭父爵。
霍嬗字子侯，年纪尚幼，亦得武帝宠爱，拜为奉车都尉。综计霍去病一生，凡六次出师，杀敌十一万余人，又降浑邪王之众四万余人。卫青凡七次出师，杀敌五万余人。去病既死，卫青也不再攻击匈奴。
卫青在中年时迎娶平阳公主，虽然平阳没有为卫青诞下一儿半女，但二人依旧相敬如宾，生活美满。公元前106年，卫青积劳成疾，因病去世。卫家在卫青在世时虽显赫一时，但卫青逝世之后便逐渐没落。
虽然卫家没落了，但是卫青在史料记载中在与平阳公主成婚前已经成家，拥有过三个儿子，那么卫青的儿子在卫青离世后是怎样的结局呢?
长子—卫伉
卫伉幼时便被封为宜春侯，待父亲死后，卫伉继承了父亲的长平侯爵位，卫伉虽是卫青长子，却没有继承父亲的良好基因，反而经常惹是生非，引起武帝的厌恶。 公元前116年，卫伉因坐“矫制不害”被免侯;公元前102年，卫伉因没有符籍而擅自入宫，再次被罢免侯位。在公元前91年，因公孙贺父子被捕入狱，卫伉牵涉到“巫蛊之祸”中，后被汉武帝赐死。卫伉虽有侯位但并没有什么作为，最后惨死，也是几个兄弟当中结局最悲惨的一个。
次子—卫不疑
卫不疑在小的时候，因父亲出征匈奴有功，便被封为阴安侯。后来因酎金失侯，但元鼎五年后，史书上便没有了关于卫不疑的记载，甚至他的子嗣以及卒年都没有记录。所以推测卫不疑之后应该没有在朝廷中担任要职，而是平稳度过一生。
幼子—卫登
卫登儿时和哥哥一样的遭遇，即幼时封侯，后来酎金失侯。史书后来对卫登的记载很少，可以考察的是卫登一脉在汉宣帝时复家，汉成帝和汉平帝时均有记载卫登一脉在朝中为官，也算是延续了卫家的香火。
却说霍去病去世后，赵破奴继承其遗志，带领他的骠骑军继续为强汉帝国建功立业。
汉元封三年，北方战事再起。西域楼兰与车师二国在匈奴的指使下，屡屡拦截汉使劫掠汉商队财物，严重破坏丝绸之路的安定与和谐。楼兰与车师是西域东面的门户，汉武帝本就志在必得，闻此自是大怒，乃遣匈河将军赵破奴远征二国。赵破奴不愧为霍去病麾下第一猛将，他竟独自率领轻骑七百，西出阳关一千六百余里，神兵天降，大破楼兰生擒其王，继而横扫车师，兵威直指中亚强国乌孙、大宛。一时间西域震怖，诸国纷纷遣使向汉朝谢罪。汉武帝非常开心，乃封赵破奴为浞野侯。后人有诗赞道：
黄沙百战穿金甲，
不破楼兰终不还!
这时匈奴儿单于继位，年少嗜杀，众人不安。匈奴左大都尉想杀掉儿单于，暗中派人告诉汉朝说：“我想杀掉单于投降汉朝，汉朝太远，请立即发兵来迎接我，我就发兵杀掉单于。”于是汉武帝任命赵破奴为浚稽将军，率2万多骑兵从朔方郡出发，向西北行进2千里，与匈奴左大都尉约定日期到浚稽山。赵破奴率军到了浚稽山后，匈奴左大都尉想发兵攻打单于，阴谋泄露而被诛杀。
匈奴单于发兵攻打赵破奴，赵破奴兵少，且战且退，路上俘虏了几千胡兵。赵破奴退到距受降城400里以外的地方时，被匈奴左贤王的8万骑兵包围。赵破奴夜间出去找水，被胡兵活捉，胡兵因此猛攻汉兵，汉兵全军投降。赵破奴留在匈奴十年，后来和儿子一起逃回了汉朝。
“巫蛊之祸”时，太子刘据兵败自杀。因为刘据是汉武帝与皇后卫子夫的嫡长子，卫青是刘据的舅舅，霍去病是刘据的表兄弟。巫蛊之祸中，卫青和霍去病的子孙多人被杀，与卫、霍二人有关系的人也受到牵连。赵破奴曾经是霍去病的部将，因此也受到牵连被杀。这是后话