1940年2月15日，他升任第7装甲师师长。该师于法国战役期间获得了"魔鬼之师"的称号，取得了赫赫战功。从此，隆美尔进入了他军事上的黄金时代。机会总是垂青于有准备的人，隆美尔就是一个典型。
1941年2月，希特勒又任命隆美尔为"德国非洲军"军长，前往北非援救一败涂地的意大利军队。
2月16日，他正式接管了前线的指挥权，德军攻占了恩努菲利亚。利用英军调防，轻敌的有利时机，采取大胆行动，把数量不多的德军和意军组成混合纵队，从塞尔提向穆尔祖赫发起进攻，向前挺进了450英里，给英军以意外的打击。九天之后，他又指挥部队攻占了艾阿格海拉地区的要塞、水源和机场，占领了马萨布莱加，把英军逼到阿吉达比亚地区并攻占了阿吉达比亚。他不顾意大利最高统帅部的阻止，继续前进，经过艰苦战斗攻陷了梅希里，使整个巴尔赛高原落入轴心国军队之手。英军只剩下了一支被围困在托布鲁克的部队。隆美尔的进攻使英军损失惨重，曾指挥英军打败意军的奥康诺将军也成了德军的俘虏。隆美尔以3个德国师、两个意大利军和320辆坦克对阵。
1942年1月，隆美尔获栎树叶双剑勋章，升任非洲装甲集团军司令。不久，他夺回了昔兰尼加，由此被提升为上将。6月隆美尔被授予元帅军衔。
1943年8月，希特勒又起用隆美尔，任命他为驻意大利北部B集团军群司令。
1943年12月，B集团军群司令部改驻法国，隆美尔被命令负责沿海要塞工事的构筑，即"大西洋壁垒"。1944年6月盟军诺曼底登陆突破大西洋壁垒（其实这个壁垒还没有完全按照隆美尔的要求完成全部施工），隆美尔当时不在前线，导致这个历史节点的错失。
1944年7月17日，隆美尔乘车视察前线返回途中遭美军飞机袭击，，他被摔出车外而负重伤。7月20日，暗杀希特勒的行动失败后，他被指控为谋杀希特勒的同案犯。
10月14日，希特勒派人送毒药给隆美尔，并传达了希特勒的允诺:如果服毒自尽，将对他的叛逆罪严加保密，并为他举行国葬，其亲属可领取陆军元帅的全部抚恤金。否则，将受法庭审判。隆美尔选择了前者。希特勒果然下令为隆美尔举行国葬，陆军元老龙德施泰特元帅致悼词，希特勒为其送葬。
此时此刻，希特勒还在利用隆美尔的声誉为其摇摇欲坠的第三帝国效劳。
在西方军界，有人称他为"战争动物"，称他指挥的装甲师为"魔鬼之师"，英国人送给他"沙漠之狐"的美誉，有人甚至称他为"二十世纪的汉尼拔"。这些显然都是对于他出类拔萃的军事造诣和战术天才的肯定。
