李渊传秦王李世民商议此事，李世民说：“杨文干这小子竟敢做这种狂妄叛逆的勾当，想来他幕府的僚属应当已经将他擒获并杀掉了。如果不是这样，就应当派遣一员将领去讨伐他。”

李渊却说道：“不能这样。杨文干的事情关连着李建成，恐怕响应他的人为数众多。你最好亲自前往，回来以后，我便将你立为太子。我不愿意效法隋文帝去诛杀自己的儿子，届时就把李建成降为蜀王。蜀中兵力薄弱，如果以后他能够侍奉你，你应该保全他的性命；如果他不肯侍奉你，你要捉拿他也容易啊。”

李世民带领军队出发平叛后，李元吉与后宫嫔妃轮番替李建成求情，中书令封德彝又在外朝设法解救李建成，上表劝说李渊改立太子容易动摇国本，重蹈隋文帝改立杨广之覆辙，只怕天下又将动乱。于是，李渊又改变了初衷，想继续让李建成回长安留守。

李建成也一再声称自己绝对没有指使杨文干造反，否则不会只身前来仁智宫请罪。李渊想来也是，对此便不再见疑，只以他平常充实和发展东宫势力过份了，致使兄弟关系不和睦的过错而责备他。而将罪责推给了东宫幕僚太子中允王圭、左卫率韦挺和天策上将府兵曹参军杜淹（向他告发李建成私运铠甲给杨文干的人就是杜淹曾经的手下，如此此事是否有秦王授意把事情搞大就不言而喻了），将他们一并流放到了巂州。

武德七年（624年）7月21日，杨文干攻陷宁州，驱赶劫掠官吏与百姓出城，占据了百家堡。秦王世民的军队来到宁州以后，杨文干叛军被击溃。杨文干被自己的部下杀死，他的头颅被传送到长安。

宇文颖被李世民所抓，李渊责问宇文颖为何竟与杨文干一起谋反了，宇文颖死口不承认，只说自己是被杨文干挟持了才只得随之行动的。李渊不信，但又审不出任何结果来，或者说杨文干已伏诛，其中又不乏牵涉到他那三个儿子之间的争斗，他也不想深究下去了，只得将宇文颖杀了了事。

杨文干事件，让李建成知道了李世民也在针对他行事。至于宇文颖是否是李元吉送上的神助攻，李建成就真的分辨不了。自此后，李建成除了对李世民更加忌惮之外，还真的有些怨恨起来。他的本意，原来不过想方设法架空李世民所掌握的兵权而已，现在看来，似乎就有点儿互相要命的感觉了！

有人劝李渊说：“突厥之所以屡次侵犯关中地区，是由于我们的人口与财富都集中在长安的缘故。如果烧毁长安，不在这里定都，那么胡人的侵犯便会自然平息下来了。”李渊认为有道理，便派遣中书侍郎宇文士及越过终南山，来到樊州、邓州一带，巡视可以居留的地方，准备迁都到那里去。

太子李建成、齐王李元吉和裴寂都赞成这一策略。萧瑀等人虽然知道不应当如此，却不敢谏阻。

秦王世民却挺身而出，劝谏道：“北方少数民族为祸中原的情况自古就有。陛下凭着圣明英武，创建新王朝，安定中夏，拥有百万精兵，所向无敌，怎么能因有胡人搅扰边境，便连忙迁都来躲避他们，使举国臣民感到羞辱，让后世来讥笑呢?那霍去病不过是汉朝的一员将领，尚且决心消灭匈奴，何况儿臣还愧居藩王之位呢！希望陛下给我几年时间，请让我把绳索套在颉利的脖子上，将他逮到宫阙之下。如果到时候不成功，再迁都也为时不晚。”

李渊听后说道：“说得好。”李建成却说：“当年樊哙打算率领十万兵马在匈奴人中间纵横驰骋结果失败了，秦王的话该不会是和樊哙的相似吧！”

李世民说：“面对的情况各有区别，用兵的方法也不相同。樊哙那小子有什么值得称道的呢！不超过十年，我肯定能够将漠北地区平定下来，并不是凭空妄言啊！”于是，李渊不再迁都。

李建成与嫔妃因而共同诬陷李世民说：“虽然突厥屡次在边疆上为祸，但只要他们得到财物就会撤退。秦王假托抵御突厥的名义，实际上是打算总揽兵权，成就他篡夺帝位的阴谋罢了！”

李渊在京城长安的南面设场围猎，太子李建成、秦王李世民和齐王李元吉都随同前往，高祖命令三个儿子骑马射猎，角逐胜负。

李建成有一匹胡马，膘肥体壮，但是喜欢尥蹶子。李建成将这匹胡马交给李世民说：“这匹马跑得很快，能够越过几丈宽的涧水。二弟善于骑马，骑上它试一试吧。”

李世民骑着这匹胡马追逐野鹿，胡马忽然尥起后蹶，李世民跃身而起，跳到数步以外站稳。胡马站起来以后，李世民再次骑到马身上，这样的情况连续发生了三次。

李世民回过头来对宇文士及说：“他打算借助这匹胡马害我，但人的生死自有命运决定，就凭他们能够伤害到我吗?”

李建成听到此言，乘机教唆与他偷情的嫔妃在李渊耳边诬陷李世民：“秦王自称：上天授命于我，正要让我去做天下的主宰，怎么会白白死去呢！”

李渊闻言大怒，先将李建成、李元吉二人召来，然后又把李世民召来，当着李建成与元吉的面责备他道：“谁是天子，上天自然会授命于他，不是人的智力所能够谋求的。你谋求帝位之心怎么这般急切呢！”

李世民闻言，知道有人在父皇那儿进了馋言，便摘去王冠，伏地叩头，请求李渊将自己交付执法部门查讯证实自己有没有说过这种悖逆之话。李渊仍然怒气不息。

适逢有人奏称突厥前来侵扰，李渊这才改变了生气的面容，转而劝勉李世民，让他戴上王冠，系好腰带，与他商议对付突厥的办法。

武德七年（624年）9月9日，李渊颁布诏书命令李世民与李元吉率领兵马由豳州出发抵御突厥，在兰池为他们饯行。每当发生敌情，李渊总是命令李世民前去讨伐敌人，但在战事平息以后，李渊对李世民的猜疑却越发加重了。

武德九年（626年）6月，秦王李世民与太子李建成、齐王李元吉结下的嫌隙越来越深了。李世民认为洛阳地势优越便利，担心总有一天会发生变故，打算离开京城长安，退守洛阳以自保。所以他就让行台工部尚书温大雅镇守洛阳，派秦王府车骑将军张亮率领亲信王保等一千多人前往洛阳，暗中结交崤山以东的豪杰，等待事态变化。并拿出大量的金银丝帛，任凭他们使用。

李元吉告发张亮图谋不轨，张亮被交付法官考察验证。张亮从始至终一言不发，朝廷没查出任何把柄，便只得释放了他，让他返回洛阳。

之后李建成和李元吉在夜间设宴邀请李世民，暗中在酒中下毒。李世民察觉后，装着突然心痛，咬破舌头吐血无数，淮安王李神通连忙搀扶着他返回西宫。

李渊来到西宫，询问世民的病情，敕令李建成：“秦王向来不善于饮酒，从今以后，你不能够再与他在夜间饮酒。”

当然，若是公正地说，李建成是否有毒杀李世民之谋，并不确切。而李世民以此离席，亦或是计。至少，他自己心有怀疑，故而凭此脱险吧！

李渊因而对李世民说：“首先提出反隋的谋略，消灭敌雠，平定海内，都是你的功劳。我本也打算立你为太子，而你却坚决推辞。而且，李建成年纪最大，被立为太子已经很长时间了，我也不忍心夺去他的太子之位啊。我看你们兄弟似乎难以相容，一起住在京城里，肯定要发生纷争。我应当派你返回行台，留居洛阳，陕州以东的广大地区都归你主宰。我还要让你设置天子的旌旗，如汉朝梁孝王那般。”

李世民闻言连忙哭泣着说自己不愿意远离父皇膝下为由表示推辞。李渊说：“天下都是一家，东都和西都两地，路程很近，只要我想念你，便可动身前往，你不用烦恼悲伤。”

李世民准备出发的时候，李建成和李元吉一起商议说：“如果秦王到了洛阳，拥有了土地与军队，我们便再也不能控制他了。不如将他留在长安，这样他就只是一个匹夫而已，捉住他也就容易了。”于是，他们暗中让好几个人以密封的奏章上奏高祖，声称：“秦王身边的人们得知秦王要前往洛阳，无不欢欣雀跃。看秦王的意向，恐怕他不会再回长安了。”

他们还指使李渊宠信的官员以秦王去留的得失利弊来劝说李渊，李渊便改变了主意，秦王前往洛阳的事情又半途搁置了。

李建成、李元吉与后宫的嫔妃日夜不停地向李渊诬陷李世民，李渊又逐渐信以为真了，便准备惩治李世民。

陈叔达进谏说：“秦王为天下立下了巨大的功劳，是不能够废黜的。况且，他性情刚烈，倘若加以折辱贬斥，恐怕经受不住内心的忧伤愤怒，一旦染上难以预料的疾病，陛下后悔还来得及吗！”于是，李渊又心疼起儿子来，没有处罚李世民。

李元吉暗中还向李渊说李世民迟早必反，请求过杀掉李世民。李渊说：“他立下了平定天下的功劳，而他犯罪的事实并不显著，用什么作为借口能如此做呢?”李元吉道：“秦王刚刚平定东都洛阳的时候，观望形势，不肯返回，散发钱财丝帛，以便树立个人的恩德，又违背陛下的敕命，不是谋反又是什么！只应该赶紧将他杀掉，何必担心找不到借口！”李渊有所顾虑，并未答应。的确，贸然杀掉李世民，大唐那些武将必然生变，李渊还根本没有完全掌控好那些人的能力。

所以，就连李渊也颇忌惮李世民在军中的实力，也怕他发动兵变。从这点上说，他也是暗中纵容李建成与李元吉发展自己的势力来钳制和抗衡李世民的。