今甘肃庆阳县，广交天下豪杰，遭到隋炀帝的猜疑。在615年调任山西、河东，到达龙门时，遇上了母端儿农民起义，李渊领兵击败了起义军，收编万余人，实力大增。第二年，他升为右骁卫将军，任太原道安抚大使，从此落脚太原，经营后来的起家之地。
镇守太原之初，李渊就表现出过人的军事谋略。隋炀帝从楼烦巡游到雁门时，被突厥兵包围，因为李渊的太原兵才得以解围。隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少，不足五千。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥兵，向突厥炫耀武力，等和突厥兵遭遇时李渊便下令攻击，结果打败突厥。从此之后，突厥不敢再轻易南下了。
617年，李渊正式任太原留守，成为一地最高长官。这里粮草充足，兵员广阔，李渊在此扎下根来，开始积蓄力量。
李渊为了巩固太原这块根据地，北面和突厥交好，消除隐患，南面主要是镇压了历山飞起义军。李渊通过收编其残余，进一步壮大了自己的力量。
公元611年大业七年，各地农民起义不断，全国共有近二百多支反隋起义军。后来逐渐形成三支主力，即窦建德领导的河北起义军，杜伏威领导的江淮起义军，李密、翟让的瓦岗军。
在617年，马邑郡今山西朔县人、鹰扬府校尉刘武周因为和太守王仁恭的侍女私通，怕被发现，便以贪污之名杀死了王仁恭，起兵建立定阳国，自称天子。
李渊就以讨伐刘武周为名，开始招兵。因为这时还是以隋朝官员的名义行事，所以在很短的时间里便招到近万人。这遭到太原副留守王威和高君雅的猜疑，他们都是隋炀帝的
李渊称帝(2/6)