但他认为自己是北齐宗室，不宜广交名流，于是隐居在终南山，闭门谢客。隋炀帝大业年间，高士廉出任治礼郎。(大业五年)，高士廉因妹夫长孙晟病逝，便将妹妹高氏接回家中，并厚待外甥长孙无忌、甥女长孙氏。后来，高士廉发现李渊次子李世民才华出众，便将甥女长孙氏嫁给他，这就是后来的文德皇后。(大业九年)，兵部尚书斛斯政逃奔高句丽。高士廉因与斛斯政有交往，受到牵连，被贬为朱鸢县主簿。高士廉事母至孝，因岭南地区瘴疠严重，不能带母亲同行，便将妻子鲜于氏留下，代自己奉养母亲。他又想到妹妹没有着落，就卖掉大住宅，买了小住宅安顿妹妹，并把剩下的钱分给母亲和妹妹，自己轻装上路。

　　当时，天下大乱，朝廷诏令难以到达岭南，交趾太守丘和便委任高士廉为司法书佐。(武德元年)，钦州俚帅宁长真率军进攻交趾。丘和打算开城投降，高士廉劝道：“宁长真兵马虽多，但孤军深入，肯定坚持不了多久。再说城中兵力足以抵御敌军，为什么要投降他呢?”丘和于是任命他为行军司马，让他迎击宁长真。宁长真大败，只身逃脱，军队全部投降。后来，高士廉随丘和依附萧铣。

　　(武德四年)，丘和、高士廉前往江陵(今湖北荆州)朝见萧铣，途中听闻萧铣被唐军主帅李孝恭击败，便转而投降李孝恭。(武德五年)，高士廉与丘和奉表归唐，被任命为雍州治中。当时，李世民正担任雍州牧，因高士廉是自己妻子的舅舅，而且素有声望，对他非常器重。(武德九年)，李世民与太子李建成矛盾加剧，高士廉与长孙无忌、侯君集等人日夜劝谏李世民，欲诛杀李建成与齐王李元吉。后来，高士廉释放在押囚犯，发给他们武器，并与他们赶到芳林门，配合李世民发动玄武门之变。李世民被立为太子后，任命高士廉为太子右庶子。

　　高士廉去世后，唐太宗欲到高府哭灵。房玄龄极力劝谏，太宗道：“高公与我并非只有君臣关系，还有故旧、姻亲的关系，岂能听说他的噩耗而不去哭灵呢?你不必多说!”说完带领身边的人从兴安门出宫。长孙无忌正在高府灵堂，听说太宗要来，出门拦住御马，劝谏道：“陛下正在服用丹药，不能哭丧，为什么不为宗庙社稷考虑而自珍自重呢!而且舅舅临终遗言，不愿因自己的死，而让陛下屈驾前来。”太宗不听。长孙无忌跪在道中，流着眼泪执意谏阻，太宗这才返回东苑，望南痛哭。