李渊祖籍陇西成纪今甘肃秦安，他的祖父李虎，是后魏的陇西郡公，官最高到太尉，死后追封唐国公，这就是后来李渊所建大唐年号的来历。李渊的父亲继承了唐国公的封号，在北周时任柱国大将军。在公元566年北周天和元年出生于长安，仅7岁就继承了唐国公的称号。因为有了较高的出身，加上他本人的豁达与宽厚、才干出众，因此他威望很高。他的妻子窦氏也是隋朝贵族出身，作为一名难得的贤内助，窦氏对李渊的作用不可忽视。
窦氏的聪明超出了一般人。隋炀帝看到李渊的脸上皱纹多，便戏称李渊是“阿婆”。李渊回了家很不高兴，窦氏问清原因，马上贺喜道：“这是吉兆啊，你继承的是唐国公，唐便是堂，阿婆面就是指堂主啊！”窦氏指的是李渊将来要做皇帝，取代隋炀帝。
窦氏在政治方面对李渊的帮助是非常大的。李渊原来有不少骏马，窦氏就劝他献给爱马的隋炀帝：“皇上喜欢鹰和马，您是知道的，现在应该把骏马献给皇上，不该自己留着，招人闲言诬陷。”李渊开始还舍不得他的骏马，后来真的被隋炀帝责问。窦氏在45岁时去世，李渊这才细细琢磨亡妻的话，觉得很有道理，于是就经常给隋炀帝送骏马鹰犬，隋炀帝果然异常高兴，很快升李渊为将军。李渊流着泪对儿子们说：“我如果早点听你们母亲的话，早就做上这种官了。”
李渊原来做过刺史，在隋炀帝即位之初做了荥阳今河南荥阳、楼烦今山西静乐县两个郡的太守，后来任殿内少监、卫尉少卿。公元613年大业九年，隋炀帝征伐高丽时，李渊在怀远镇督运粮草。这时，杨玄感利用民愤举兵反隋，后来失败。在这期间，李渊奉命镇守弘化郡
李渊称帝(1/6)