李建成剿灭刘黑闼，趁势安抚河北军民，所得刘黑闼余部，尽数编入齐王李元吉军中。
李建成趁机拉拢三弟李元吉，说欲扶植他统领军队，共同排挤秦王李世民。李元吉也深知二哥兵雄将广，怕自己永无出头之日。如今有大哥支撑，觉得机会来了，做起了以后李建成当皇帝，他做天下兵马大元帅的梦。在他看来，李建成继承皇位，应该是板板上钉钉子的事情，所以对建成言听计从。
见天下大定，李渊也开始了享乐生活，宠幸的嫔妃很多，接连生了滕王李元婴等近二十位小皇子。他们的母亲争相交结各位年长的皇子来巩固自己的地位。
李建成和李元吉都曲意奉迎各位妃嫔，奉承、献媚、贿赂、馈赠，无所不用，以求得皇帝的宠爱。并时刻准备着通过她们向李渊进谗言诋毁李世民。
当时，太子东宫、各王公、妃主之家以及后宫妃嫔的亲属，在长安横行霸道，为非作歹，而主管部门却不敢追究。
由于李世民不去讨好诸位妃嫔，所以嫔妃们很生气，争相称赞李建成、李元吉而诋毁李世民。
李世民平定盘踞在洛阳的王世充以后，李渊让贵妃等几人到洛阳挑选隋朝宫女和收取仓库里的珍宝。贵妃等人私下向李世民索要宝物并为自己的亲戚求官，李世民回答道：“宝物都已经登记在册上报朝廷了，官位应当授予贤德有才能和有功劳的人。”没有答应她们的任何要求，因此妃嫔们并不怎么待见他。
李世民因为淮安王李神通有功劳，赏赐给他几十顷田地。而李渊的嫔妃张婕妤得知后向李渊索要这些土地给自己的父亲，李渊便将属于李神通的土地赐给了张婕妤的父亲。
而李神通因为秦王的赏赐命令在先，就没有将土地让出。张婕妤就向李渊告状，说李世民擅自作主，分封土地与下属，完全是目无君上，把自己当成了天下之主一般。李渊因此发怒，把秦王李世民叫来狠狠斥责了一番。
李渊的嫔妃尹德妃的父亲尹阿鼠骄横跋扈，秦王府的官员杜如晦经过他的门前，尹阿鼠的几名家僮把杜如晦拽下马，揍了他一顿并打断了他一根手指，说道：“你是什么人，胆敢过我的门前不下马！”
尹阿鼠怕李世民告诉李渊，便指示尹德妃诬告李世民，反而对李渊说秦王李世民欺负她的家人。
于是李渊又大为生气，训斥了李世民一顿，弄得李世民莫名其妙的受了顿气。李世民反复为自己澄清，但李渊始终不相信，认为他约束部下不严，自恃有功，尽都骄横起来目中无人了。
李世民有次在宫中侍奉李渊宴饮，面对诸位妃嫔，想起母亲太穆皇后早逝，没能看到高祖拥有天下，不免叹气流泪。李渊看到后很是扫兴，颇不高兴。
各位妃嫔趁机暗中一同诋毁李世民道：“天下幸好平安无事，陛下年寿已高，只适合娱乐娱乐。而秦王总是一个人流泪，这实际上是憎恨我们。陛下作古后，我们母子必定不为秦王所容，会被杀得一个不留！”因此相互对着流泪，并且说：“皇太子仁爱孝顺，陛下将我们托付给太子，必然能获得保全。”李渊对此也很不放心起来。
从此李渊对世民逐渐疏远，而对李建成、李元吉却日益亲密了。
武德七年（624年），齐王李元吉劝说太子李建成趁早除去秦王世民，他说：“我自当替哥哥亲手将他杀掉！”李世民随从李渊和李建成前往元吉的府第，元吉命令护军宇文宝埋伏在寝室里，准备刺杀世民。李建成生性颇为仁爱宽厚，连忙制止了他。李元吉恼怒地说：“我这是为哥哥着想，对我自己有什么好处！”
李建成擅自召募长安及各地的骁勇之士两千多人，充当东宫卫士，让他们分别在东宫左右长林门驻扎下来，号称长林兵。建成还暗中让右虞候率可达志，从燕王李艺那里调集来幽州骁勇精锐的骑兵三百人，将他们安置在东宫东面的各个坊市中，准备用他们来补充在东宫担任警卫的低级军官，结果被人告发。李渊召见李建成，把他责备了一番，将可达志流放到巂州。
李建成随后又联络曾在东宫担任警卫的庆州都督杨文干，私下里让他募集勇士，送往长安。李渊与秦王李世民、齐王李元吉前往长安以北的仁智宫避暑，留太子李建成在长安处理国事。李建成让李元吉乘机图谋李世民，他说：“这关系到我们安危的大计，就决定在今年了！”随后李建成派两位属下郎将尔朱焕和校尉桥公山给庆州都督杨文干秘密送去一批盔甲和兵器。
尔朱焕和桥公山到达豳州后，担心受到牵连不敢参与此事，便向豳州的官员告发李建成指使杨文干起兵叛乱，让他与自己内外呼应。还有一位宁州人杜凤举也前往仁智宫讲了这一情形。李渊听后大怒，借口有别的事情，以亲笔诏书传召李建成，让他前往仁智宫。
李建成心中害怕，不敢前去。太子舍人徐师谟劝他占据京城长安，发兵起事；詹事主簿赵弘智劝他免去太子的车驾章服，屏除随从人员，到仁智宫李渊那里去承认罪责。李建成于是决定前往仁智宫认罪。
李建成决定前往仁智宫。为避嫌疑，还没有走完六十里的路程，李建成便将所属官员全部留下，只带领十多个人骑马前去进见，向父皇伏地叩头，承认罪责。他身体猛然用力，自己摔了出去，几乎晕死过去。
李渊的怒气仍然没有消除。当天夜里，高祖将他囚禁在帐篷里，给他麦饭充饥，让殿中监陈福看守着他，派遣司农卿宇文颖速去传召杨文干。
李元吉与宇文颖交好，便让宇文颖告诉杨文干赶紧起兵。于是杨文干就起兵造反了。李渊派遣左武卫将军钱九陇和灵州都督杨师道攻击杨文干。