他出身世家勋贵的弘农杨氏，字子贤，少时好学，明经博览，无不穷究，崇尚孔子的有教无类，对于门下弟子只问资质，因材施教，从不揣度评测出身，时人称之为碧云孔子杨子贤，但也因此为当时世族大家不齿，在门第森严的先皇时期，世家和寒门之间泾渭分明，世家可以纳寒门之女为妾，而不可为妻，更是从未有寒门士子娶得世家贵女。
杨子贤显然是对此类俗世规则嗤之以鼻的，他带着杨家的身份先是求娶了一位前柱国将军的女儿为妻，这位柱国将军，奴隶出生，靠住战功一步步走到了朝堂上，家中四个儿子一个女儿，儿子全部战死沙场，也算是满门忠烈，先皇甚为倚重，无奈因为他的出生，在朝堂上得不到任何支持，即使众世家碍着皇帝的面子，不会假以辞色，但是也从不会和这位将军有任何交集。