睿宗景云二年(711年)九月三日，肃宗李亨出生在东宫之别殿，初名嗣升，后来多次改名。李亨的名字是在天宝三年(744年)新取的，以后就再也没有改动，因此习惯上把他称为李亨。

　　他的母亲杨氏出身于弘农华阴(今属陕西)杨家，为关陇地区名门望族。杨氏曾祖父杨士达在隋代任门下省纳言(宰相)，父亲杨知庆以祖先荫庇为官。值得一提者，武则天的生母就是杨士达的女儿。若从武则天的母亲这里算起来，杨氏要比李隆基高了一辈，这种不同班辈之间的婚姻关系在李唐皇室中并不稀奇。

　　景云元年(710年)八月与杨氏成婚前几天，李隆基刚被册立为太子。不久，杨氏怀孕，生儿育女本来是人之常情，天之大伦。可是由于此时李隆基与太平公主关系紧张，他担心太平公主会借题发挥。历史上以借口太子耽于女色难当大任而行废立的例子实在太多了。像隋文帝时太子杨勇因宠爱貌美的昭训云氏，被母亲独孤皇后认为难以隆兴基业，结果被废;太宗时太子李承乾喜好声色，因特别宠爱一位太常乐人，招致太宗皇帝大怒，也终被废黜。正由于这种原因，李隆基内心焦虑，便让属下秘密弄来一些堕胎药，打算将这一小生命扼杀于母腹之中，但思来想去，最终没有施行。

　　李亨出生以后，没有能够与生母杨氏生活在一起。因为杨氏仅是太子姬妾，而太子妃则是后来做了玄宗皇后的王氏。在等级森严的宫廷中，太子妃(正妻)的地位要比其他姬妾优越得多。此时的太子妃王氏一直没有生养，杨氏自觉班次在王妃之下，不敢独享为人母的喜悦。王氏便把李亨接到自己身边，对他百倍呵护，极为疼爱，“慈甚所生”。