为了报复胡宗南，当蒋介石在重庆划分战区时，陈诚主动要求出任第一战区司令长官，并点名让胡宗南担任第一战区副司令长官，想借机杀杀胡宗南的威风，压压黄埔系的气焰。
胡宗南一向只听命于蒋介石一人，对其他人概不买账。为了抵制陈诚，在陈诚赴任之前，便秘密召开军师长会议，交代关于陈诚的一切命令、电令和调令等，必须呈报胡宗南，经胡宗南同意后才能执行。
安排好一切，胡宗南便以身体不适为借口，给蒋介石拍了个电报，称上华山养病去了。然后躲在华山，等着看陈诚到任后上演的好戏。
陈诚上任后，胡宗南的部队根本不听他的指挥，特别是胡宗南亲任过司令的34集团军，更是针插不入、水泼不进，气得陈诚一次次到蒋介石面前告状。
1944年4月，日军集中了五六个主力师团共计16万人，向中原发动大规模进攻。中原守军蒋鼎文、汤恩伯的部队一触即溃，郑州、偃师、洛阳、渑池相继失陷，潼关告急，西安震动。
胡宗南闻讯后慌忙下山，赶赴华阴指挥作战。他调集精锐部队三十四集团军和第1军，在陕州虢镇和豫西的灵宝等地阻击日军，成功将数万日军打退，取得灵宝防守战的胜利。