汉武帝登基后力图改变汉初以来汉朝与匈奴的关系。匈奴对汉朝的强势地位是由秦汉之际的冒顿单于奠定的。在头曼单于（冒顿单于之父）统治时期，匈奴一度受制于秦朝、东胡与大月氏。冒顿杀父自立后，乘楚汉战争时期边塞空虚，收复河南地，并统一了蒙古高原。汉七年（前200），韩王信投降匈奴，刘邦亲自率领32万人迎击匈奴，冒顿单于佯装败走，将汉朝骑兵及部分步兵引至平城，出动40万骑将刘邦围困在白登，长达七日。后来刘邦贿赂单于阏氏（单于后妃），方得解围。娄敬建议汉朝与匈奴和亲，“冒顿在，固为子婿，死，外孙为单于。岂闻外孙敢与大父亢礼哉”。于是从汉高祖迄于汉景帝，汉朝大抵奉行与匈奴和亲的政策。但是匈奴对汉朝政策却多有反复，除经常劫掠边境外，汉文帝十四年（前166），匈奴大举进犯，逼近长安，汉朝随后移民塞下，加强边境守卫。在汉初的七十年间，汉朝与匈奴关系中占据主动地位的是匈奴，战争或者是和亲，基本都由匈奴决定。
卫青的首次出征是奇袭龙城，揭开汉匈战争汉朝反击的序幕，元光六年（前129），卫青被拜为车骑将军，与李广等四军并出，攻击匈奴。此战其余三军皆无所获，唯独卫青出上谷郡至笼城斩获数百人。这次战役是马邑之谋后汉武帝主动发起的首次大规模战役，在诸军皆败的情形下，卫青获胜对于汉武帝战争信心的影响是显而易见的，这也成为他迅速崛起为军事统帅的重要契机。
奇袭龙城
元光六年（前129）卫青出上谷，打击的是匈奴左部。此后，卫青的作战对象转向中部、右部。元朔元年（公元前128年）秋，卫青率三万骑出雁门郡，斩首数千。次年（公元前127年），卫青出云中郡西至高阙，迂回到陇西。此战意义十分重大，不仅驱逐了白羊王、楼烦王，而且夺回河南地，移民十万设朔方郡，解除了匈奴对于长安、关中地区的直接威胁。汉朝设置朔方郡后，匈奴年年攻击上谷、代郡、雁门、定襄、云中、上郡，可见卫青夺取河南地对于匈奴打击之沉重，故而以左中右三部全线作战予以报复。同样，卫青对匈奴的打击还促成匈奴内部最高统治权的变更。军臣单于死于当年（前127）冬天，左谷蠡王发动政变自立，此即伊稚斜单于。伊稚斜单于击破军臣单于的太子于单，迫使于单逃亡汉朝。伊稚斜单于代表了匈奴内部与汉朝激烈对抗的势力，汉朝与匈奴之间最激烈的战争基本上都发生在伊稚斜单于统治时期。
