张怀芝不来是和曹锟有了隔阂。曹锟驻节汉口时，《顺天时报》说他曾在青楼中选到一位姨太太，张怀芝是曹锟把兄，就去电责曹不应“军中行乐”。曹大为光火，认为张根据“无稽之言”破坏他的名誉，从此便和张断绝往来。
张敬尧不敢离开长沙，是因他自知在湖南不受欢迎。吴佩孚有战功又有人缘，如果他离开长沙，吴佩孚可能会取他的督军位子，所以也不敢前赴汉口。
段觉得张怀芝是第二路军统帅，如不与会，汉口的督军会议势必流产。所以一定要张来，并命他接到电报立刻动身。
二十四日张怀芝到了汉口，段在曹锟和张怀芝之间作了合事佬，张向曹道歉了事。
段祺瑞在汉口主持的军事会议，参加者有曹锟、张怀芝、王占元、赵倜四个督军，徐树铮当然也参加。江苏、江西、湖南、安徽、山西、陕西、奉天督军则派代表出席。
段在会议上说明团结北洋派的重要性和贯彻对南作战方针的决定，然后提出第四期作战计划，发交有关各省按照计划执行。
关于总统问题，主战派内部存在不同的两种意见：
一种是主张以临时参议院代行选举权，选举总统；一种主张迅速召集新国会以便如期进行总统的选举。
段决定采取后一种办法。
曹锟和王占元联合请求恢复陈光远的原官，撤销王汝贤、范国璋二人的处分，对冯玉祥不究既往。这样一来，就促使汉口的督军会议对直系的态度有了大的转变。
曹锟现在如日中天，段祺瑞此时自不敢冷落他。加之现在曹表示要对直系和好，也正符合段的北洋派大团结的心意。当他失意时，极力煽动皖、直对立，是为了拆冯国璋的台。现在他大权在握，自然要高唱团结。
为了真的表示对直系的合好，，段祺瑞电约倪嗣冲、卢永祥两人先到南京等候。
二十五日晚，段由汉口动身，乘楚材军舰东下二十六日在九江和陈光远见面。二十七日到南京和李纯见面。并且在李纯、倪嗣冲、卢永祥三人间做调合人。
二十七日晚由津浦路北返，二十八日回到北京。
联军自弃守岳陽、长沙后，两广巡阅使陆荣廷决定：湘桂粤联军全部退驻衡山、永州一线，“暂取守势”；商请川、滇、黔靖国军立即出川东下，进取鄂西，以分敌势；桂粤两省集中全力进行讨龙济光作战，以肃清后方隐患。
这时，潭浩明已率桂军退到祁陽、宝庆地区，把湘军甩在湘潭、衡山一带。
湘军退守衡山等地后，程潜、赵恒惕、刘建藩、林修梅、林祖涵等举行紧急会议，决定依靠湘军自己的力量，对敌组织顽强抵抗，确保湘南。
他们分析认为，在南犯的三路北军中，中、右两路是主力，唯左路张怀芝所部系由四省军队凑合而成，指挥关系紊乱，战斗力较弱。如将该路敌军击破，则其余两路必不敢轻进。
于是决定以赵恒惕为湘东前线总指挥，刘建藩为总参谋，集中退到衡山一带的湘军一万一千余人，并联络退守安仁的马济所属粤军和李书城之援鄂军，共约二万人，对北军左路军实施反击。
程潜、林修梅、吴剑学等率四千人扼守衡陽，阻击从正面进攻之敌。
北军左路军进展迟缓，在吴佩孚、张敬尧部进占长沙后，才由赣西进入湘东。
四月十五日，其先头部队施从滨师占攸县，不久，李传业之安武军和张之杰的赣军一旅也进抵攸县，分别驻于攸县城外之马鞍山、桑田、小集、朱亭等地。
二十日，施从滨师第一、第二旅由攸县分别经马子坡、桑田继续南进，企图进据安仁，进而攻取永兴、郴县，尽快实现直指广东的作战计划。
根据敌军上述行动，赵恒惕等率部于四月二十日由萱洲渡湘江，秘密进入霞流市、吴集和青山冲地域，待机歼敌。
湘军拟由五个方向对正在行进中之施从滨师发起突然攻击：
驻安仁之马济率粤军自渌田经桑田出和尚坳、五里牌，攻攸县之南。
刘建藩所部由草市、杨林出马鞍山，经马子坡、皂角市攻攸县之西。
赵恒惕所部分成两路，一路出黄泥塘以配合刘建藩部出击，一路由毛陈桥攻敌之侧背。
李仲麟部攻小集，李书城部为总预备队。
四月二十一日，刘建藩率部首先深入到攸县与桑田之间的皂角市，与粤军一道，完成对施从滨师部队的合围。
双方激战两昼夜，施师损失大半，余部向茶陵逃窜。
四月二十三日，驻攸县之北军一部，向刘建藩部侧后迂回，适与赵恒惕所部出毛陈桥之部相遇，遭到迎头痛击，缩回攸县。
下午，湘军合力向攸县城发起总攻，守敌不支，分向醴陵、茶陵方向逃窜，湘军一举攻克攸县。这一仗，共毙敌千余名，俘敌数百名，夺获飞机两架。
四月二十四日，湘粤军分数路追击敌人。
刘建藩和湘军第一师第二旅沿新市、黄土岭（今皇图岭）大道向醴陵攻进。
第一师第一旅由新市出贺家桥，作为策应。
马济粤军一部守攸县，一部进击茶陵。
李仲麟部攻克小集后，即会合李书城部反击朱亭之敌，尔后向渌口推进。