另一位中央负责同志反映：彭在小组会上说：“如果不是中国工人、农民好，可能要请红军来。”彭作为军队的主要负责人说这个话，严重刺激了毛泽东。毛历来最重视军队，所以毛后来批彭的时候讲：“解放军不跟我走，我就找红军去。”
　　还有上海市委书记柯庆施汇报：“彭在山上拉队伍，人都快被他拉过去了。”这就引起毛的警惕，认为彭是在向他的领导权和权威提出挑战。后来毛批彭的时候说：“写这封信的目的就在于争取群众，组织队伍。”这样，彭的罪名就升级为“篡党夺权”了。

　　出于这些考虑，毛认为彭不是简单的提意见了。但毛不打无把握之仗，他还要最后试探一下。于是，他派安徽省委书记曾希圣去找彭“闲聊”。曾希圣在长征期间是军委2局局长，负责情报和机要工作，是毛最信任的部下。
　　曾向彭提了三个问题：1.为什么写这封信?是否有些不服气?彭说没有什么特别的目的。2.是否出国访问受了影响?彭说，在国外没谈总路线、“大跃进”的事情。3.对林彪当中央副主席是否有不满?彭说：从未想过这种事。曾希圣失望地说：“这样我们就没法子谈了。”彭也不客气地说：“那就不谈了吧。”
　　曾希圣提的三个问题，绝不是他个人的行为，而是受毛之命来对彭做最后的争取。但是彭丝毫不给面子，对三个问题一概否认，就使毛认为彭是一意孤行了。因此，毛定了决心，在7月23日大会上对彭进行了严厉的批判。庐山会议形势急转直下，由纠“左”变成了反右倾，并将彭德怀、张闻天、黄克诚、周小舟等人打成“反党集团”。但是，彭在庐山会议上并未屈服。
　　毛泽东此后连续召集政治局常委会，对彭进行批判。话题早已超出那封信的内容，而是清算历史老账，表明彭在历史上是一贯反对毛的。彭有口难辩，窝了一肚子火，在笔记中写道：“7月23日，毛主席给我一闷棒。这棒叫做‘打右倾机会主义路线’，而且将历史上所有旧账一齐搬出来，再打四十大板，加上右倾机会主义的四十大板，一共八十大板，打得遍体痕伤，两股无肉，然后立案画押不准翻案，不准辩驳，但免推出午门斩首，保留党籍。抓住你这个自高自大的王八旦，整整你吧!以观后效。”
　　军委扩大会议专门批判彭德怀
　　庐山会议由讨论经济工作的工作会议转为八届八中全会，专门解决彭德怀等人的“反党集团”问题。虽然作出了决议，但彭本人并未认罪。于是中央决定在北京召开军委扩大会议，到会的军队师以上干部1061人，列席干部508人。主要对彭德怀和黄克诚进行批判。
　　这次军委扩大会议，始终是秘密进行的。至今很难看到有关的材料。从一些当事人的回忆录中描述的场面，会议过程中，只有北京军区参谋长钟伟少将主持正义，在会场上公开为彭总澄清事实，当场被拉出会场，打成“反革命”。其余众多高级将领，众口一词地猛批彭德怀。彭既然是坚持真理的人，为什么会落到这种地步?从大家的发言来看，大多数都是抓住了彭的工作作风粗暴这个缺点。
　　在军队干部中，彭的严厉和喜欢骂人是众所周知的。秘书们在陪同他到基层视察过程中，多次目睹彭怒斥下边的干部。1957年8月在山西某地视察弹药库区建设时，看到库区过于暴露，库间距离过密，树木很少时，大发脾气，要追究库区建设的领导者、设计者和审批者的责任。

　　他越看火气越大，秘书和陪同的领导都很紧张，谁也说不清这件事的原委。1958年9月到东北白城子靶场视察，看到苏联专家设计的钢筋水泥横梁和立柱，又怒气冲冲，大发脾气，指责这是典型的浪费工程，说我们的干部不动脑筋，听任苏联专家摆布。其实这样设计是为了防止弹片弹射的，也不是一点道理没有，在场干部一个个吓的不敢吭声。