后来秦朝灭亡后，很多人都希望他们能重新出山，为统治者筹谋划策，走上政治道路，但是他们四位都没有出山。

据史料记载，刘邦曾经多次想要这四人出山为汉朝效命，这也就拉开了绮里季的故事中商山四皓和朝廷的关系。但是他们都没有前往，后来刘邦想要废除太子刘盈的时候，吕后向张良求情，希望汉高祖不要这么做。张良就建议太子秘密写一封信给商山四皓，表示自己诚挚的邀请之意，一定要动之以情晓之以理。

张良还让身边能言善辩的人去邀请商山四皓，结果没想到这四人真的出现了，在一次宴会上，太子刘盈身边的四位白发老人非常引人关注，大家纷纷猜测，太子请来四个老头是什么意思，难道是再暗示什么，又或者是在表明什么。

众人都开始打听这四位老人是什么身份，四位老人说出了自己的名字，刘邦大吃一惊，想自己请不来的人，居然让刘盈请来了，结果刘邦看到有四位杰出的人才辅佐自己的儿子，就打消了废太子的想法，并且给刘盈很大的支持。这就是绮里季的故事贤能的臣子往往是君王判断国事的保障。