台儿庄位于徐州东北30公里的大运河北岸，临城至赵墩的铁路支线上，北连津浦线，南接陇海路，战略地位十分重要。日军如攻下台儿庄，既可南下赵墩沿铁路西进，攻取徐州，又可北上策应坂垣师团，断张自忠、庞炳勋各军后路。
在进攻滕县之时，日军濑谷支队于3月17日攻陷临城。18日矶谷师团分兵南下，直扑韩庄、峄县，咄咄逼人。此时汤恩伯兵团奉命从河南归德和安徽亳县驰援临城。由于路途遥远，仅先头部队到达临、峄地区。守峄县的第二十二集团军之八十五军一个团伤亡惨重，团长阵亡。敌人占领韩庄后企图渡过运河，直取徐州。
蒋介石判断日军志在争夺徐州，便带着副总参谋长白崇禧来到徐州视察。李宗仁将台儿庄战役的腹案向蒋介石作了报告后，蒋十分赞同。他说:“打仗气可鼓不可泄。日军有‘不可战胜‘之神话，我认为要通过台儿庄战役，打破这个神话！且见今日之事态，只要我们有最后五分钟之坚，则此神话必破无疑。”
李宗仁向蒋提出了要将白崇禧留下，协助他运筹台儿庄战役的要求，蒋介石考虑后，同意了他的请求。
白崇禧认为日军在徐州有可能要采取南北夹击中**队的企图，中**队兵力数量上虽