在《隋唐演义》《兴唐传》等小说里，为大隋朝开国立下了大功的有九位大功臣，被称为“开隋九老”。在历史上这九位功臣半真半假，有的在历史上确有其人，有的则是完全虚构。在真实的历史中，贺若弼、韩擒虎都是参与灭南陈统一全国的大功臣，权势最大的却并不是他们，而是越王杨素。
杨素出身于著名的士族弘农杨氏，也就是三国时候四世三公杨修家的那个“弘农杨氏”，到杨素的时候，他的父祖叔伯世代都是高官。当时北周权臣宇文护执政，因为杨素才华高相貌英俊，所以特意提拔重用他。
等到北周武帝宇文邕诛杀了宇文护，亲掌朝政，杨素因为被宇文护重用，也被株连。但杨素很快凭借自己的才华让宇文邕刮目相看。宇文邕拜杨素为车骑大将军、仪同三司，令杨素起草诏书，杨素下笔成章，文词华丽。武帝大加称赞，对他说：“好好干，不愁日后没有荣华富贵。”杨素却摇头回答：“臣只怕富贵来逼臣，臣却无心谋取富贵。”
随后，杨素参与了北周灭齐之战，又立下了不少功勋。北周武帝却忽然盛年暴薨，年幼的儿子即位，朝政大权落到了外戚杨坚手里。杨坚也出自弘农杨氏，杨素知道杨坚有称帝的野心，杨坚也知道杨素的才华，所以两人一拍即合，深相结纳。
在杨坚镇压忠于宇文氏的反抗行动中，杨素被拜为大将军，进位柱国，一路参与平叛。等到杨坚受禅称帝，成为隋文帝，就封杨素为上柱国，参与朝政。五年后，又和高颎、贺若弼、韩擒虎等一起率领大军顺流而下，攻灭南陈，统一全国。灭陈时，杨素率领水军东下，大小战船铺满江面，杨素坐在大船上，容貌魁伟，盔甲闪光，让陈国人看了，都心生畏惧：杨公这是长江之神啊！
回朝后，杨素官也是越做越大，当了尚书右仆射，与尚书左仆射高颎同掌朝政。而且杨素与独孤伽罗关系亲密，有时候杨遂恃才傲物，欺侮朝臣、生活上又奢华过度，隋文帝想处罚他的时候，都有独孤伽罗在旁边给他说好话，于是隋文帝也不再批评他，反而更加宠信。杨素一门，兄弟宗亲都位列公卿，几个儿子虽无汗马功劳，却都官至柱国、刺史，荣耀无比。杨素家里有仆人几千人，后院披罗挂绮的乐妓小妾就以千计。府第华丽奢侈，规模体制摹仿皇宫，连外国进贡来的金精盘，隋文帝都亲手赐给了他。
可是，杨素毕竟只是一个人，却有了上千个小妾，不可能一个一个都照顾过来。而且他是朝中重臣，事务繁多，所以有些被他冷落的小妾就耐不住寂寞，红杏出墙了。有一次，他的一个宠妾和情郎李百药约会私通，被杨素逮个正着。杨素作为当朝权势最重的人，却被戴了绿帽子，一时恼羞成怒，就想杀了李百药。
可当人被推上来时，杨素却发现李百药原来是个“年未二十，仪神隽秀”的英俊少年郎，于是惜才之情顿起，动了恻隐之心，说：“听说你善作文，可作诗自叙，如果写的好，就免你的死罪。”李百药生死关头，才思泉涌，一气呵成，当即成文。杨素看完，表情欣然，当场把爱妾赐给李百药为妻，“并资从数十万”，成人之美。后来，杨素还上奏隋文帝，推荐李百药为礼部员外郎。李百药财色兼收，而且还因此当了官，成为一时佳话。后来，李百药写了二十四史中的《北齐书》