留园始建于明代万历二十一年(公元1593年)，为太仆寺少卿徐泰时的私家园林，时人称为“东园”，其时东园“宏丽轩举，前楼后厅，皆可醉客”。瑞云峰“妍巧甲于江南”，由叠山大师周时臣所堆之石屏，玲珑峭削“如一幅山水横披画”。今中部池、池西假山下部的黄石叠石，似为当年遗物。

　　徐泰时去世后，“东园”渐废，清代乾隆五十九年(公元1794年)，园为吴县东山刘恕所得，在“东园”故址改建，经修建于嘉庆三年(公元1798年)始成，因多植白皮松、梧竹，竹色清寒，波光澄碧，因园内竹色清寒，故更名“寒碧山庄”，俗称“刘园”。

　　刘恕喜好书法名画，他将自己撰写的文章和古人法帖勒石嵌砌在园中廊壁。后代园主多承袭此风，逐渐形成今日留园多“书条石”的特色。刘恕爱石，治园时，他搜寻了十二名峰移入园内，并撰文多篇，记寻石经过，抒仰石之情。嘉庆七年(1802)，著名画家王学浩绘《寒碧庄十二峰图》。

　　咸丰十年(1860)，苏州阊门外均遭兵燹，街衢巷陌，毁圮殆尽，惟寒碧庄幸存下来。同治十二年(公元1873年)，园为常州盛康(旭人)购得，缮修加筑，于光绪二年(公元1876年)完工，其时园内“嘉树荣而佳卉茁，奇石显而清流通，凉台燠馆，风亭月榭，高高下下，迤逦相属”(俞樾作《留园记》)。