却说李定国屯兵衡州，闻得孙可望兵败宝庆，又在永州遭遇清兵的消息，知道永州已失，不禁为桂境的安和自己的处境深感不安，因为自己在出征衡州之前，留在广西的兵马非常有限，而盘据广东的清平南王尚可喜和靖南王耿继茂一直对桂境虎视眈眈。再说目前的衡州又正处于清军的包围之中，自己的友军又在宝庆府吃了败仗而远走西边，一旦哪天长沙、宝庆和永州的清军同时从北、西、南三面来攻衡州，而东面的江西又是敌占区，那时自己的这支孤军就将陷入绝境，思前想后，便决定主动放弃衡州而出击永州，先把它从巴思哈手里夺回来再说下文。毕竟那里背靠自己的老根据地，进可攻，退可守，完不像在衡州这么被动。
李定国主意一定，便立即号令军动手准备，谁知就在这时，少卿向他提出请求道：“将军此番出征，小侄就不跟随了，想在衡州暂留一段时间。”
“你要留下来？为甚么？”李定国疑惑道。
“小侄听说，那王夫之自离开朝廷后，就在这衡州一带隐居，而皇上曾说过，王夫之是最有可能解开藏宝图秘密的人，这段时间来，小侄一直在打听他的下落，自今没有结果。不过小侄一时还不想放弃，想在这里暂作停留继续寻找。”