，所以在他看来，孤军深入这样的冒险行为并非总是可取的，他只有在很有把握的时候才会出击。霍去病虽然出身贫贱，但是一直过的都是贵公子的生活，这让他与下层出身的士兵难免有隔阂，其表现为，当他归来的时候，辎重车里的酒肉都已腐臭了，可是却不断有士兵饥饿而死。与卫青相比，年轻的霍去病不懂得什么是“悲天”，什么是“悯人”。
也许是杀伐过盛，遭了天谴，年纪轻轻的霍去病忽然得了暴疾而死，那一年他只有二十四岁。霍去病死后，武帝非常伤心，将他的墓修成祁连山的模样，以表彰他的战绩。霍去病的墓，就修在武帝墓的一旁，可见武帝对他的爱惜。
经过卫青、霍去病的连连打击，匈奴人的日子可谓江河日下，他们不断地向北迁徙，躲避汉人的追击，自此以后，匈奴人再也不能像以前那样对汉朝造成威胁了。