利用观军容使的权力和个人能力，鱼朝恩逐渐控制了神策军，还将神策军的规模扩大到万人以上。广德元年(763年)，吐蕃进攻长安。当时负责保卫长安的禁军被击败，唐代宗逃往陕州。就在这个关键时刻，鱼朝恩率领神策军赶来保护唐代宗，算是暂时稳定了军心。

　　长安被郭子仪收复后，返回长安的唐代宗将鱼朝恩统帅的神策军纳入禁军，鱼朝恩也成为李辅国之后的专权大宦官。神策军则是鱼朝恩专权的根基，鱼朝恩甚至在神策军设置迫害政敌的监狱。大历五年(770年)，唐代宗联合宰相和禁军将领，用“偷袭”的方式杀了鱼朝恩。

　　唐代宗虽然杀了鱼朝恩，但他允许鱼朝恩的宦官旧部继续控制神策军。宦官集团的势力依然很强大。唐代宗去世后，其子李适继位，是为唐德宗。唐德宗登基后决定削弱宦官对禁军的控制，任命司农卿白志贞为神策军统帅。白志贞上任后不久，藩镇就搞出了“泾原兵变”。

　　面对藩镇发动的“泾原兵变”，白志贞的表现极为拉胯，导致唐德宗差点丢了性命。“泾原兵变”之后，唐德宗不再信任文臣武将，对宦官的态度来了一个180度大转弯。唐德宗此后加强宦官对禁军的控制，规定禁军统帅必须由宦官担任，还将宦官的神策军升为中央禁军主力。

　　于是唐朝中央禁军的兵权此后便完全落入宦官手中，而且禁军之外的中央军队也都由宦官担任监军。唐朝的宦官专权彻底成形。此后的唐朝皇帝多次从宦官手中夺权的行动都宣告失败，宦官专权问题愈演愈烈，直到唐朝灭亡。