桓阶的仕途起步得益于东吴集团的创始人孙坚。孙坚担任长沙郡太守期间，任命桓阶为郡功曹。数年后，桓阶被朝廷征召，来到京城担任尚书郎。后来父亲去世，桓阶返乡奔丧，献帝初平二年孙坚率部进攻荆州，在岘山被射杀。得知此事的桓阶，只身前往襄阳面见荆州牧刘表，出面索要孙坚的遗体。刘表被他的义气所感动，就把孙坚的尸首、灵柩让他带走了。

　　建安五年(200年)，曹操与表绍在官渡相持不下，刘表此时打算出兵协助袁绍。此时留守在临湘县的桓阶却鼓动长沙郡太守张先起兵对抗刘表，另一方面向曹操派遣使者表明态度。这时袁、曹之间的战事正接连不断，后来张羡病死，长沙城被攻破，桓阶只得自己躲藏起来。过了许久，刘表希望桓阶能为自己所用并许诺将妻妹蔡氏嫁给他，桓阶推说自己已有了老婆，拒不接受，接着又称病辞官告退了。

　　建安十三年(208年)，曹操平定荆州，此时，他又想起了当年帮助过自己的桓阶，顺势征辟他为丞相府掾吏、主簿，负责典领文书，参与机要，随后向推举了徐奕，在立嗣问题上始终支持曹丕，在曹操面前多次夸耀曹丕德操优良，年纪又比曹植大，适宜立为太子。

　　黄初元年(220年)，曹丕即位建立魏国，桓阶继续得到重用，历任尚书令、太常等职，成为曹魏帝国的开国重臣。黄初二年(221年)，桓阶得病，曹丕亲自去看望对他说希望他能保重身体，自己会将儿子和国家的命运寄托给你。又将他晋封桓阶为安乐乡侯，食邑六百户，还把他的三个儿子都赐封为关内侯。黄初二年桓阶病逝，曹丕为此痛哭不已，正始四年七月，桓阶得享从祀于曹操庙庭。