说起刘彧，他出生于公元439年，十岁时受封为淮阳王，食邑二千户；公元452年，改封湘东王。公元453年，宋孝武帝刘骏即位后，因为刘彧生母沈容姬过世，年仅十五岁的刘彧就由刘骏的生母路太后抚养长大。
刘彧对路太后亲奉爱戴，时常服侍路太后医药，深得路太后特别笃爱。刘骏一向猜忌宗王诸弟，却对刘彧特别亲密。除了让刘彧历任秘书监、中护军、侍中兼卫尉、领军将军等高官之外，还让刘彧掌握少部分的京师兵权，并参与机要事务。
少年刘彧外貌俊俏，并且爱好文学创作。而据《宋书·明帝纪》记载：刘彧“少而和令，风姿端雅”、“好读书，爱文义，在藩时，撰《江左以来文章志》，又续卫瓘所注《论语》二卷，行于世”。不过刘彧成年后，缺乏运动，非常肥胖，可以说是文采有余、武略不足。
而公元464年可以说是刘彧走上人生巅峰的开始，孝武帝刘骏过世后，继位的宋帝刘子业颇为凶暴。刘子业杀害了叔祖父刘义恭，又猜忌叔父刘昶，迫使其投降北魏。他又把叔父刘彧、刘休仁等全都软禁在宫中，肆意殴打侮辱，甚至计划杀死刘彧。刘彧身体肥胖，被刘子业称为“猪王”。
刘彧派亲信阮佃夫结交刘子业的侍