匈奴军认为李牧胆怯，不肖一顾。即便是赵军守边将士，也瞧不起这位胆小怯懦的主将。后来此事被赵孝成王知道，认为李牧有损赵国国威，勃然大怒责令召回，另派他将替之。
岂料此将到了雁门郡，单反匈奴来犯，便调兵遣将，与之一战。几次都是大败而归，损失惨重。尤其因此边境不安，百姓无法耕田放牧，整个赵国边境岌岌可危。
赵王无奈，只得又遣李牧出任雁门郡的主将。李牧向赵王请求：“王必用臣，臣如前，乃敢奉令。”赵王只得答应。
李牧回到雁门郡，依旧如前，日日犒赏，天天游戏，闭门不战。匈奴几次来犯，皆无所获，只道是这胆小将领又来了这套。
谁料李牧却在一面驻守，发展农牧业，恢复百姓生产。一面在游戏之时，训练了战车一千三百辆，良马一万三千匹，善战的士兵五万人，优秀射手十万人。并将这些车、马、兵严格编队，练就出一套多兵种联合作战的战法。
后来派百姓畜牧，诱匈奴入侵。又派小股军队佯败于匈奴兵，丢弃下几千名百姓和牛羊作诱饵让匈奴俘虏。匈奴单于久无缴获，如此大胜心下高兴，准备大肆入侵，掳掠一番。
岂料，李牧早已从烽火台和探子中得到情报