刘璋虽然是控制益州的军阀，但他的家族并不是益州本地人，而是他父亲刘焉在东汉末年入主益州的。益州在汉末有很多士人避祸，因此刘璋集团大体上就分为两个部分：益州本土士人、外部流亡士人。

　　但由于各种原因特别是刘璋个人能力的不足，益州本土士人与外部流亡士人之间的矛盾一直得不到解决，两拨士人对刘璋都非常不满。另外，由于刘璋“不知存恤”，其治下的益州社会矛盾也是趋于激化。

　　正因如此，无论是益州本土士人还是外部流亡士人都希望有个外来势力能取代刘璋。赤壁之战时，张松被刘璋派去出使曹操，张松便暗中计划投靠曹操。但由于各种原因，曹操却没有礼遇张松，错失良机。

　　被曹操冷落的张松便转而投奔刘备，而张松的好友法正当时正因为刘璋无识人之明而怀才不遇。于是张松和法正一拍即合，决定共同投奔刘备。而张松和法正恰好分别代表了益州本土士人和外部流亡士人。

　　综合来讲，正如隆中对刘璋的评价“民殷国富而不知存恤，智能之士思得明君”一样，刘璋集团的派系结构与刘璋个人的无能导致麾下大部分士人都刘璋非常不满，抛弃刘璋只是个时间问题而已。