谋不轨的嫌疑。谢灵运赶紧上书解释。刘义隆知道他是冤枉的，没有怪罪他，并且看在他父祖的份上还任命他为临川内史。临川内史相当于临川市市长。与秘书监那个闲职相比，临川内史是有实权的。
但是谢灵运依然我行我素，荒废政务，游山玩水。内史作为地方官，治民、生产、垦荒、修路……有很多工作要做，责任重大。谢灵运不务正业激怒朝廷。司徒派人去逮捕他，要治他的罪。谢灵运武力拘捕，把来抓他的人抓了，并且起兵叛逃。他写了一首反诗：“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子”。拿自己比作反抗暴秦的张良（张子房）和鲁仲连，耻为刘宋臣民，为东晋灭亡而痛心，要推翻刘宋恢复东晋。
举兵造反，这罪过就大了。他被抓住后要砍头，但是刘义隆爱惜他的文才，念他先祖谢玄的功劳，改判他流放。
刘义隆的父亲刘裕原是谢玄的部下，被谢玄一手提拔起来。刘裕打天下的军队也是谢玄的老班底。刘义隆不能不念这份情。
没想到他到了流放地，被人告发私买武器意图谋反。
刘义隆下令将谢灵运斩首。
谢灵运临死前又题诗一首：“龚胜无余生，李业有终尽……恨我君子志，不获岩上泯