用后世的话说，杨荣祖上三代贫农，其曾祖和祖父都是济度的船夫，虽然贫困辛苦，但二人都是心地良善之人。有一年，连日大雨，溪水猛涨，冲毁居民房屋，一时间，船夫成为了幸运儿，因为他们昼夜都待在船上，当他们发现水涨时，溪流中飘满了各种各样的财物，还有众多嚎哭求救的百姓，其他人都忙着抢夺财物，只有杨荣的曾祖和祖父忙着救人。虽然活人无数，但无论是现场的，还是听说的，都认为他们两个人是傻缺。
也许是天佑善人的缘故，到了杨荣父亲的时候，杨家的境况逐渐好转，所以杨荣才有机会，并在建文四年中了进士，后有幸进入了文渊阁，协助皇帝处理政务。当时正是王度最得宠的时候，谈笑间确定国家大事，大军征伐、户部调运几乎都是其一言而决，大部分事情都是陛下与之商议后才决定，这让杨荣艳羡不已，同时又心向往之。
杨荣熟读经史，对历朝历代的官僚机制了如指掌。所以他很早就立下了宏愿，要成为大明的宰辅之臣。虽然高皇帝朱元璋废除了丞相，并立下祖训，不许后世再立宰相。但是在杨荣开来，这纯属多此一举，没有任何意义。
丞相制度起于秦朝，汉朝承袭之，在汉武帝之前，相权甚重，皇帝也不能等闲视之。基于