力转回内政上面，继续休养生息恢复国力以图再战。
在此期间发生三次谋反案，牵扯到三位名人。
第一位是著名山水诗人谢灵运。谢灵运是谢玄的孙子，从小好学，博览群书，“文章之美，江左莫逮”。但这人有个毛病，“性褊傲”。这也是文人的通病。他“自谓才能宜参权要”。他自认为才能出众，跟祖辈谢安、谢玄一样能成为朝廷重臣，挽江山于既倒，救苍生于水火。但“朝廷但以文义处之，不以为有实用”。朝廷认为他有才无能。刘义隆任命他为秘书监（国家图书馆馆长），跟他只聊文学不谈政治。谢灵运不得重用，“常怀愤邑”。
谢灵运“不遵法度”，不好好工作，总是旷工出去旅游，一走就是十天半个月。刘义隆责令他做出解释。谢灵运说他病了，申请病休。刘义隆批准他回家养病。结果他又跑出去游山玩水，被别人告发。刘义隆将旷工和撒谎二罪合一，将他免职。
无官一身轻的谢灵运索性敞开了玩，经常带一帮人野游，进山探险。那时候的人不兴旅游。当地人见到一支好几百人的队伍挎着刀在深山老林里转悠，以为是强盗，报告了官府。官府出兵抓到他们一看是谢灵运。
官府上报朝廷，怀疑谢灵运拥有私人武装有图