蒂，逐渐生疏。
直到肃宗重病时，突然又良心发现，诏见南阳王抱头痛哭一场，临终前任命他为宗正卿，并将独子也就是后来的德宗托付予贺铎。
可贺铎经历过太多为了权势之争手足相残同室操戈的惨痛事件，十分清醒对于皇室而言亲情是何等不足重轻，他也不愿意追逐权势，虽有肃宗遗令，可从未染指政事，是以不仅德宗对他这叔父敬重有加，就连颇为狠辣的卢太后当年也不曾戒防于他，南阳王更加防备自家子孙念栈权势，因而其子孙竟然都被教养成安于享乐的“纨绔”，唯有对女儿十分娇惯，也不管莹阳真人比男子更加用心于才学。而德宗这位君主偏巧也不怎么注重政事，对南阳王一支只喜享乐的宗亲十分亲近，还曾经惋惜过叔父之子侄过于贪图享乐，虽然与他很是谈得来，却不好直接给予高官，故而对莹阳真人这个堂妹就十分爱惜。
德宗崩前，也十分担心韦氏的狠辣，故将贺烨托付给南阳王。
南阳王虽无心权势，然而因为生来重情，一贯就对同室操戈之事别外痛心，因此对于德宗所托还是十分注重，他深知贺衍温厚，就品性而言，颇似当年英宗朝废太子贺铭，故而冒着被韦太后忌恨的风险，提醒贺衍必须戒防贺烨被太后暗中加害。