着灌婴的推荐，当上了秩级两千石的高官灌婴去世后，他的儿子灌何袭任颖阴侯的爵位吴楚之乱时，灌何归太尉周亚夫调遣，在他麾下做了将军他向周亚夫推荐灌孟（张孟），周亚夫命他做校尉那时候，灌孟已然年老，身体精神都大不如前，所以儿子灌夫随侍身边，带着一千人跟着父亲一起从军灌孟虽然力衰，但是仍然不服老，每次作战总是冲到最前面，而且他所进攻的方向都是敌人阵地里最坚实的部分，终于战死沙场
当时西汉皇朝的制度是，父子俩一同参军，若其中一个战死，则另一个可以退出战场，护送死者的灵柩回家但是灌夫继承了父亲的勇猛彪悍，坚决留在这里，并扬言要亲手砍掉吴王或吴将的头颅，以祭父亲的在天之灵灌夫豪爽威武，在军中的人缘很好，他披甲执锐，召集了几十个勇士，想要冲进敌营厮杀可是刚刚走出营门，众人你看我我看你都不挪步，只有灌夫和他的奴隶，一共十几个骑兵冲杀到吴军军营里吴军毫无准备，灌夫等人于是一直冲到吴军军旗之下，杀伤了几十人到终于无法前进的时候，才策马返回汉营来得容易，要走就难了奴隶都战死了，唯有他一个人孤零零地回来，满身的十多处重创，叫人看了触目惊心若不是有名贵药材医治，灌夫必死无疑灌夫的伤势刚刚有点起色，便向灌何请缨出战灌何嘉奖他的勇气，却怕他就此一去不返，于是将情况报告给周亚夫周亚夫按着灌夫，坚决不让他出营
战乱平定后，灌夫名震天下颖阴侯灌何向景帝举荐灌夫，景帝于是任命他为中郎将没过几个月，灌夫便犯法丢官灌夫是个莽汉，不喜欢读书，平时只爱舞刀弄枪，任侠使气，他也的确颇有侠风，凡事允诺别人的事，没有不办到的他的财富迅速累积，很快便有了几千万，每天出入门庭的食客少则几十，多则上百与灌夫交游的，不是名重天下的豪杰，就是大奸大猾
景帝任灌夫做代国国相武帝即位后，又因他的勇猛而叫他担任淮阳太守，再后来又调他为太仆灌夫为人直爽刚健，不喜欢奉承人，又好发酒疯他是家奴所生，出身低贱，所以骨子里有一种自卑的反叛所以，凡是地位高于他的人，又或是势大财雄的皇亲国戚，灌夫不但不尊敬，反而总是想办法在大庭广众之下当面折辱他们可是对于地位低下的人，他却尊敬起来，甚至越是地位低贱，他对他们越是恭敬士人们因此就对他更加地敬重
灌夫定居在长安，长安城里的显贵个个都对他竖起大拇指长乐宫的卫尉窦甫是窦太后的兄弟有一次，灌夫与窦甫喝酒，醉酒发酒疯，因为一些细枝末节的礼数问题，将窦甫给打了武帝深知窦太后的护短，怕灌夫因此被杀，于是学着景帝调