1928年2月，张学良升任第三方面军团总司令，驻防保定。由于战争的困扰及南征北战带来的烦躁使谷瑞玉变成了另一个人，她变得唠叨又爱计较，总是为一些小事和张学良吵架，本来为政务忙得焦头烂额的张学良回到家，期望能够有人能宽慰他，理解下他安抚他，却没想到谷瑞玉整日与自己因为芝麻绿豆的事情吵架，他更觉得心烦，加之后来谷瑞玉的兴趣和嗜好，完全变得与以前不一样了，两人之间可聊的也少了，默契也就荡然无存了。她还经常借着张学良的名义请名伶，到她借住的朋友私寓里唱堂会，因此影响了那些著名演员的票房收入。张学良知道了更是心有不悦。

　　最让他不痛快是，1928年6月张作霖在皇姑屯遇难时，谷瑞玉在天津居住，秘不发丧的期间，她私自行动暴露了张作霖在皇姑屯炸死的事实，亲手埋下了与张学良分道扬镳的祸根。张学良主政东北后，谷瑞玉不甘住在沈阳经三路的小洋楼里。她不顾张的反对，几次争着想回大帅府，认为张今天所得地位与她当年随军征战不无关系。

　　张学良越来越意识到，谷瑞玉的转变带给他的不是幸福而是灾难，他与谷瑞玉之间的隔阂越来越大，终于在杨宇霆事件中，发现在杨宇霆家里有谷瑞玉的信笺。此事发生后，张学良和谷瑞玉遂反目。谷瑞玉一气之下愤然离沈返回天津独居。

　　1931年1月，张学良与谷瑞玉解除了婚姻关系。张学良在天津的英租界为谷瑞玉购买小楼房一幢，又给她10万元作为生活之资。离开了张学良的谷瑞玉，听说在南开大学当了物理系的教授，一直到退休，终生未再嫁，在一九八几年才去世的，活了八十几岁，也算长寿了吧。