卢太翼能力突出，名声也远传越远，甚至传到了宫廷之中。当宫中派人邀请他入朝为官之时，他讨厌官场的名利争夺，因此不愿意，反而躲进了五台山中，给弟子们传授学问。闲暇的时候，卢太翼还研究佛法，采集药材，日子过得十分潇洒。

　　但是可惜的是，皇太子杨勇为了壮大自己的势力，强行将其征召入宫，这让卢太翼十分不高兴，并曾经一度对自己亲近的人说道：“吾拘逼而来，不知所税驾也!”也就是说，卢太翼觉得，虽然杨勇成为了皇太子，但是却没有机会问鼎皇位。后来，杨勇被废的时候，卢太翼本来也会受到牵连，但是杨坚爱惜他的才能，所以将其赦免，并留在了自己的身边。

　　仁寿四年(604年)的夏天，杨坚想要前往仁寿宫避暑，但是这个消息传到了卢太翼的耳中之时，他却急忙前来劝谏。杨坚在宫中确实不太舒服，就想要偷偷懒，因此面对卢太翼的阻止有些许的不耐烦，并质问他其中的缘由。

　　卢太翼听了之后十分为难，但是却也不得不实话实说：“臣愚岂敢饰词，但恐是行銮舆不反。”意思就是说，倘若杨坚这次出宫了，就再也回不来了。

　　杨坚听了之后，十分愤怒，卢太翼这不是在咒他死吗?因此，杨坚想要直接将卢太翼给杀了。但是过了一会，他想了一下，需要让卢太翼死得心服口服，因此先将他关进了监狱，等到自己回宫之时再来处置他。

　　谁也没有想到的是，杨坚到了仁寿宫后不久，便患病不起了，此时的他突然想起了卢太翼的话，后悔不已，于是招来杨广，告诉他：“章仇太翼是一个很有才能的人，他所做出的预测，没有不准确的。我来这里之前，他极力谏阻，说我将不能活着返回，如今果然如此。你回去后一定要释放他，留在身边任用。”

　　正是由于这个原因，当杨广登基之后，便立刻将卢太翼给释放了，并对他信任有加。而卢太翼也不辜负皇帝的重视，为隋朝的发展做出了很多的贡献。