卫伍姓卫，但伍却不是他的本名，他真名叫卫恂，乃是本地士族出身。
卫恂虽然是士族出身，但平丘卫氏在他祖、父两代就已经衰败了，只据说平丘卫氏这一支与如今曹司空昔日恩主襄邑卫兹那一支曾经同出一脉。
虽然卫家如今已经衰败了，但卫恂的父母却坚持让卫恂习字念书读经治史，为了让卫恂拜入县中王夫子的门下，卫家可是置办了一份颇为丰厚的束脩，为此家里可有些日子没见过荤腥。
王夫子说起来岁数也不大，只是三十多岁，但曾经先后师从过郡中大儒濮阳闿和故九江太守陈留名士边让，学问在附近县乡里那是大大有名。
卫恂从小便聪明，身材也壮大，倒是很得王夫子欢心，不过去年卫恂的父亲病故，寡母一个人带着卫恂，家中的日子就愈发艰难了起来。
恰好卫恂去年已经年满十六，便闹着不再念书，而是要报名从军，好挣一些安家费给母亲改善家中的贫困情形。
卫母失了丈夫，又怎忍心独自远离身边，只是不允，但也已经无力再维持卫恂的学业，只能退而求其次，准允卫恂在县中做个县卒谋份薪俸养家。
卫恂为人机敏，又识文断字，加之人长得高大壮实，很快便升任了伍