黄巾之乱后，他就被汉灵帝派去平乱。当时东汉政府一方面号召各地有才有德的人组织乡勇自行平叛，并许以高官厚禄，另一方面中央军以卢植为北中郎将、皇甫嵩为左中郎将、朱儁为右中郎将，发兵镇压。
在平叛初期，朱儁屡打败仗，后来成为了皇甫嵩的副手。卢植打仗水平不错，可惜因为得罪了朝廷大员，在关键时候撤回。也就是说，在同期任命的官员中，皇甫嵩一枝独秀，由他统领朝廷的正规军。此时，董卓就是他手下的重要将领。
皇莆嵩也非常争气，他力挽狂澜，多次击败黄巾军，几乎是凭借一己之力，平定了这场浩劫。黄巾军的三位首领张角、张梁、张宝中，，后两位都是被皇莆嵩击败而死，张角虽然在战乱中病死，没有看到悲剧的结果，但仍然被皇甫嵩“剖棺戳尸，传首京师”。
在此时，皇甫嵩可谓是天下共知，成为了稳定汉朝局面的肱骨之臣。当时有一位叫做阎忠的凉州名士，就劝他自立门户，取汉朝天下而代之。然而皇甫嵩根本就不加理会，一方面他世受皇恩，他做不出这种篡逆之事，另一方面皇甫嵩也担心成为第二个张角。
后来他的下属董卓与他交恶，两人关系逐渐降到了冰点。当董卓入朝之后，很多人劝他起兵干掉董卓。然而他却认为朝廷自有法度在，傲惩罚董卓也轮不到他动手。因此，皇甫嵩白白错过了机会。
他能饶过董卓，但董卓却不会放过他。董卓在朝，利用朝廷的名义让皇甫嵩回京任职，采取明升暗降的方式来剥夺他的军权。皇甫嵩明知后果，但仍然接受了这个决定。就是这一下，导致他从政治舞台上开始暗淡起来。他的时代虽然没有落幕，但他却实际上沦为了配角。
董卓被诛杀的时候，就是他又带着兵取灭了董卓的满门。虽然又是大功一件，但是，天下的运势再也回不来了。曹操、刘备、袁绍们已经纷纷登上政治舞台。这些他曾经的下属、学生们，逐渐取代了他的地位，成为了三国时期的中坚力量。
他真的是有机会成为天子的，但素来没有野心的他放弃了这个机会。但他的能力得到了皇帝的认可，他的功劳更是被汉朝朝廷所铭记。
