这一年秋天，恰巧数万突厥军队进攻晋阳来打秋风，李渊立刻名正言顺地命人将两人推出斩首。

李渊刚刚起兵，在长安的柴绍和妻子一商量，自己先跑回了太原，李秀宁一介女流目标较小，留下迷惑敌人。柴绍在半路碰到了不知发生了什么事，惊慌失措想要落草为寇的李建成和李元吉，将他们劝回太原。

他们回到家中才知道父亲已经起兵造反，兄弟几个都很兴奋，李渊遣李建成、李世民率军攻杀拒命的西河郡丞高德儒。同时，李渊又设下空城计，吓退了突厥的军队。

617年7月，李渊封李建成为陇西公，左领军大都督；李世民为敦煌郡公，右领军大都督；并且和两个儿子约定，先入长安者为世子。接着他又封李元吉为姑藏郡公、镇北将军，太原留守看守大本营。

接着李渊率军三万誓师，在发布的檄文里他斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾；接着以“废昏立明，拥立代王，匡复隋室”的名义正式起兵直趋关中。

李渊兵至贾胡堡，距霍邑五十余里。代王杨侑派虎牙朗将宋老生率领精兵两万人驻防霍邑。八月初三早晨，李渊率军从小路向东南直抵霍邑，听说宋老生在前面驻扎，李渊就面生为难之色对众人道：“这宋老生长的是背阔腰圆，悍壮魁梧，手执一口大砍刀据说受过名人指教；每日必练刀法，此人骁勇不可力敌。”

李世民笑道：“父亲，这宋老生虽然悍勇，但是脾气暴躁我们可以诱其出战，则一鼓可擒。”

李渊从其言和李元霸率领几百名玄甲军在霍邑城东埋伏，派李建成、李世民率领几十骑到城下辱骂宋老生。

宋老生果然中计率军出战，李世民等人见他面如紫茄，黑鼻孔，大耳朵，胸前飘着掺白胡子须，年近花甲，却不显老；正是老当益壮。

李建成脱口赞道：“真是一员大将！”李世民笑道：“大哥，你看看隋朝的这些将军都是追随先皇的老朽匹夫，年青一代却罕有能手，岂有不败之理！看小弟怎么擒他！”说着命令殷开山、马三宝的人带动军队冲上前去厮杀。

李世民与薛万淑率兵驰马而下，冲击宋老生的军阵，攻击宋老生军的背后。

李世民一边攻击一边大喊：“已经抓住宋老生！”顿时隋兵大乱，争奔城门。但门已为李建成率部夺占，宋老生不得入，只得带人绕城而走，结果遇到了埋伏在这里的李渊等人。

李元霸一马飞出三锤就砸死了宋老生，霍邑的隋军一看主将已死，，全部放下兵器投降。李渊很顺利的攻下霍邑，打开了进入关中的道路。

李渊军攻取霍邑后，沿汾水南下，占临汾，克绛郡，于十五日进至龙门。宋老生一死关中的大将就剩下了长安留守屈突通；杨侑没有办法只好让屈突通率领关中的大部分援军前去抵挡。

屈突通率军数万屯守河东，准备阻止李渊军入关；李世民招抚关中农民军首领孙华得军数万，李渊的势力突然暴增。就在这个时候一个天大的好消息突然传来，本来大家认为在长安凶多吉少的李秀宁，突然归来。

李秀宁在长安招抚了李神通、潘仁、李仲文、向善志、丘师利等关中义军队伍，一路上攻占了户县、周至、武功、始平等地，带领着十万大军前来相见。

李渊大喜派柴绍帅人前去迎接，并封其为平阳郡主和柴绍一起在李世民的右军听令。

这一下子使得右军的实力明显强于左军，李建成的部下颇有微词；李建成虽然没有明说，可也认为是父亲偏向二弟。

可这时李渊又突然下令李世民在这里围困屈突通，李建成和自己率领大军绕过河东直取关中。李建成才恍然大悟连忙带领着大军和父亲绕过河东城直取关中。

屈突通闻知李渊要攻打长安后，留下鹰扬郎将尧君素守河东，自己率部自武关出蓝田回救长安，至潼关附近，被李世民派刘文静部阻遏，不得进。

时隋将刘纲守卫潼关，屯军都尉南城，屈突通欲与刘纲合兵，李世民将计就计，诱出刘刚，然后派大将王长谐率部抢先袭占都尉南城。柴绍随即发动进攻斩杀刘纲，屈突通被迫退守都尉北城。

屈突通在此与唐刘文静相持月余，急于进军，便派桑显和夜袭刘文静军营。桑显和率军攻破二栅，惟刘文静一栅久攻不下。