随后在十年大动乱中也是第一个受到冲击的，在1964年的时候，罗瑞卿组织并实施了全军群众化练兵运动，让军队的战斗力得到了非常高的提升，同时他坚持政治与军事、政治与业务的辩证统一，提倡以理论联系实际的学风学习马列主义、..思想，对林彪提出的“政治可以冲击一切、最高最活”等言论和破坏军队建设性的行径予以了坚决的抵制，最后到了林彪等人的诬陷，在1965年12月的中央政治局扩大会议上，被先后解除党政军领导权，在后来的大动乱中又遭到了迫害，导致下肢残疾。
1978年7月15日，去德国治疗腿疾，8月3日，在手术后因为突发心肌梗塞去世，两天后中央派专机把他的灵柩带回了国内，8月12日，罗瑞卿将军的追悼会如期在人民大会堂举行，在这一天，外交部大楼前、天安门广场以及新华门等地的国旗半悬，一表示对这位大将的哀悼，而罗瑞卿也成为了开国十大将中唯一死后荣获降半旗殊荣的将军。
