贞观七年（633年），晋王李治遥领并州大都督，朝廷授李勣为金紫光禄大夫，代理并州大都督府长史。其后，李勣因父丧离职。在不久又获起用，官复原职。

贞观十一年（637年），李勣被改封为英国公，世袭蕲州刺史。当时，朝廷所封的世袭刺史都只是挂名，不到州郡就任，于是他又以并州大都督府长史的官职遥领太子左卫率。

李勣在并州任职共十六年，令行禁止，颇为称职。

李世民曾对侍臣说：“隋炀帝不能选贤安民，只知道筑长城来防备突厥，对世情的认知糊涂至此。朕现在委任李勣在并州，就使突厥畏惧他的威名逃走。边塞安静，难道不是远远地胜过筑长城吗？”

贞观十五年（641年）十一月，李勣被征调入朝，任兵部尚书。他尚未赴任，正遇上薛延陀真珠可汗夷男派其子大度设联同同罗、仆骨、回纥、靺鞨、霫等部族，领军二十万南侵突厥俟利苾可汗阿史那·思摩。

这薛延陀一直以来是敕勒部落的一员，从属于突厥，包括在600年前后分成的西突厥和东突厥。

628年，这些敕勒部落为夷男上可汗号，夷男最初没敢接受。但唐太宗听说后，希望建立一个以薛延陀为主的抗东突厥的联盟，派游击将军乔师望，册封夷男为薛延陀真珠毗伽可汗。随后，许多敕勒和突厥部落被夷男统治。随后，唐和薛延陀经常交流使者，薛延陀在东突厥的领土上扩张强大。

629年，唐太宗派大将李靖领导大军对东突厥反击，630年李靖抓获阿史那咄苾，成功地消灭了东突厥汗国。大部分东突厥人投降了薛延陀，有一部分投降唐朝。此后，薛延陀成为中国北方草原的主要力量，但仍臣服于唐。

638年，唐太宗在夷男的同意下，册封夷男的儿子多弥可汗拔灼和颉利苾为夷男属下的可汗。这表面上是对他们的尊重，而实际上是希望扩大他们之间的分歧。

639年，唐太宗派大将侯君集开展了对高昌的战争，同时夷男协助唐军也对高昌发起了攻击。但由于侯君集迅速征服高昌，薛延陀的援助并没有实际作用。

但是639年，唐朝的行动开始导致了唐与薛延陀之间的关系恶化。

阿史那咄苾被俘后，唐太宗将投降的东突厥人安置在唐朝边界之内，并没有册封一个新的可汗管理他们。然而，在639年，阿史那咄苾的侄子阿史那结社率（人名）阴谋暗杀唐太宗败露后，唐太宗改变了主意，册封了忠于唐朝的东突厥贵族阿史那思摩为新的东突厥可汗（俟力苾可汗），居于漠南作为唐和薛延陀之间的缓冲区。

夷男虽然感到担忧，但最初他还是向唐朝表示了接受这一安排。

641年，阿史那思摩终于定居在长城北面得定襄（今内蒙古呼和浩特）。与此同时，夷男听说唐太宗即将封禅泰山，认为唐军主力将随唐太宗东巡，便派儿子大度设开展对东突厥重大军事攻击，意图在唐提供援助以前，摧毁阿史那思摩的政权。

阿史那思摩撤回长城内，抵达朔州（今山西朔州），并向唐太宗紧急求援。

于是，唐太宗派出大将李勣、张俭、李大亮、张士贵和李袭誉率军攻打薛延陀。

十一月，朝廷命营州都督张俭统率所部直逼薛延陀东境。李勣被授为朔州道行军总管，率步卒六万、骑军一千二百人屯驻羽方，与灵州道行军总管李大亮、凉州道行军总管李袭誉等分兵抵御大度设所率大军。

大度设率三万骑兵追击思摩不得，却遭逢李勣所率唐军。

大度设大惊，急忙自赤柯泺北撤。李勣挑选所部及突厥的骑兵共六千人，穿越直道、白道川，在青山追上薛延陀军。大度设在诺真水（今内蒙古乌兰察布市境内）勒兵备战，战阵横亘十里。

突厥骑兵先与之交战不利，大度设乘胜追击，射死唐军战马众多。李勣命骑兵下马，持长槊直冲，大破薛延陀军，斩首三千余级，俘获五万余人及马一万五千匹，大度设独自逃走。

与此同时，夷男也派遣出一名特使，向唐太宗表示自己愿与突厥和平相处之意。

唐太宗派遣使者指责夷男，但并没有对薛延陀采取进一步的行动。

李勣回师定襄后，又与州兵夹击叛乱的突厥思结部，俘获其百姓一千余口以及众多马、羊。战后，李世民封李勣的一个儿子为县公。

此后唐与薛延陀之间的关系是，薛延陀虽然仍承认它是唐的附庸，但互相关系已不再以前那样牢固了。

642年，夷男为了加强与唐朝的关系，派遣他的叔叔泥熟请求与唐太宗的一个女儿和亲，为此向唐朝进贡了马匹、裘衣和琥珀镜。

这时，唐将契苾何力（出自敕勒族的契苾部落），在回他的部落探望母亲时，被薛延陀扣押。夷男劝他归附薛延陀，契苾何力拒绝归附薛延陀，割左耳明志，忠于唐朝。

唐太宗担心契苾何力的安危，同意了和亲的建议，派出大臣崔敦礼到漠北与夷男进行谈判，答应在契苾何力释放后，唐太宗把女儿新兴公主嫁给夷男。

643年，夷男又派他的侄子突利向唐朝进贡5万匹马、1万头牛和10万只羊，作为聘礼。唐太宗以隆重的仪式欢迎了突利，唐太宗和他的大臣亲自出席欢迎他的宴会。

然而，契苾何力认为夷男这次和亲是缓兵之计，想以此来获得更多的发展时间与发展空间。在契苾何力的建议下，唐太宗考虑放弃这次和亲。

最初唐太宗让夷男亲自到灵州（今宁夏银川）娶新兴公主，认为这样夷男会拒绝，他将会有很好的理由断绝这次婚姻。

当夷男同意去灵州，唐太宗又发现了另一个借口——说没有给够到要求的所有彩礼（为了进贡足够的牲畜做彩礼，夷男在他下属部落征收，征收的时间超过了想象，牲畜没有经过戈壁就死亡了），于是了撤销婚约。

尽管大臣褚遂良强烈反对，他指出皇帝不能言而无信。唐太宗仍极力辩解，说如果公主嫁给了夷男，夷男的可汗之位将在敕勒有更大的合法性，唐朝将更加难以控制薛延陀。