隋文帝一生简朴。他认为贪图奢华是败家亡国之象。杨勇身穿金盔金甲绣罗袍。隋文帝看到后非常不高兴，教训他说：“自古帝王未有好奢侈而能久长者”。
可是隋文帝的话被当做耳旁风，杨勇依然我行我素。他不仅过着花天酒地，铺张浪费的生活，而且公然在家里接受群臣的朝拜和进贡，提前把自己当皇帝看待。这更让隋文帝不满。按规矩，太子在未登基以前还是臣子。杨勇的这种做法在礼法上属于僭越，犯了大忌。隋文帝开始猜忌杨勇。
独孤皇后也不满意杨勇。前面说过，独孤皇后女权意识非常强，痛恨用情不专的花心男人，尤其反对男人和妻子以外的女人生孩子。而杨勇偏偏妻妾成群。除了独孤皇后给他选的正房他不待见，其他女人他见一个爱一个。庶子生了一大堆。嫡子一个没有。
后来他的原配夫人抑郁而死。独孤皇后怀疑是杨勇毒死的。独孤皇后从此不待见杨勇。
隋文帝夫妇起了废太子的心。
老二杨广知道杨勇太子之位不稳以后开始极力包装自己。他实际上也好奢华也好色，但尽力把自己的缺点隐藏起来，把尾巴夹起来不让它露出来。同时他想方设法在父母面前抹黑杨勇。
在隋文帝眼里，杨广“孝悌