魏知古出身巨鹿魏氏。进士及第，历任著作郎、凤阁舍人、卫尉少卿、吏部侍郎、晋州刺史、黄门侍郎、右散骑常侍。唐睿宗复位，反对修建道观，担任户部尚书、同平章事，成为宰相。唐玄宗继位，迁侍中，进封梁国公。开元二年(714年)，因与宰相姚崇不睦，罢为工部尚书。开元三年(715年)，因病病逝，追赠幽州大都督，谥号为忠。

　　轶事典故

　　魏知古有知人之鉴，曾先后举荐洹水令吕太一、蒲州司功参军齐璟、前右内率府骑曹参军柳泽、密县尉宋遥、左补阙袁晖、右补阙封希颜、伊阙尉陈希烈等人，这些人后来都担任清要官职。

　　人物评价

　　宋璟：叔向古之遗直，子产古之遗爱，能兼之者，其在魏公。

　　刘昫：魏知古、卢怀慎、源乾曜、李元纮、杜暹、韩休、裴耀卿，悉蕴器能，咸居宰辅。或心存启沃，或志在荐贤，或出爱子为外官，或止屯田于关辅，或不受蕃人之赂，或坚劾伯献之奸，或广漕渠以充国用：此皆立事立功，有足嘉尚者也。

　　宋祁：夫志满则忽其所谋，意骄则乐软熟、憎鲠切，较力虽多，课所效不及姚、宋远矣。终之胡雏乱华，身播边陬，非曰天运，亦人事有致而然。若知古等皆宰相选，使当天宝时，庸能有救哉!

　　赵元僖：唐太宗有魏玄成、房玄龄、杜如晦，明皇有姚崇、魏知古，皆任以辅弼，委之心膂，财成帝道，康济九区，宗祀延洪，史策昭焕，良由登用得其人也。