他被任命为盛武将军兼巡按使的热劲未过，却听到不好的消息。原来精于谋略的袁世凯怎么放心把整个奉天交给他一个人？何况老张近来的表现也让他有些惊恐，并表示严重不放心。冯德麟再不入他的眼，还是能对张作霖起牵制作用的。现在因为小段的原因，他采取了扬张抑冯的路线，但不代表他会无节制地增加张作霖的地位。
奉天四位实权人物，是两位师长张作霖、冯德麟，还有两位镇守使马龙谭、吴俊升。
吴俊升原先被袁世凯作为平衡冯、张势力的第三路，担任洮辽镇守使兼骑兵第二旅旅长。论势力虽然不及冯、张，但军衔却都是中将。袁世凯对吴俊升的运用以及吴的地位和威望的不断上升，早已引起张作霖的疑忌。
说起来两位后世的奉系主官，在此时还是很有嫌隙的，虽然他们同为张作霖的首义兄弟：马龙潭为大哥，吴俊升为二哥。
当初日俄战争后，东三省总督徐世昌为了解决叛国蒙匪陶克陶明，征调张作霖进入辽源，与同为巡防营统领的吴俊升等人一道剿匪。吴俊升进入军界早于张作霖，驻防郑家屯有年，故以老大自居，没把张作霖放在眼里，因此对张作霖的到来十分反感，采取了歧视态度。
初时，吴俊升不准张作霖所部入城宿营。适逢雨季，张作霖的巡防营食宿发生了困难，后经交涉，吴俊升勉强同意入城，但仍在各方面设置障碍，百般刁难。张作霖初来乍到，人地生疏，极想靠近吴俊升，便亲自登门拜访，不料竟遭冷遇。
吴俊升在为张作霖摆的接风筵席上别有用意地对张说：“唔，唔，这回你来了好！这土匪向来欺侮孬兵，我吴兴权曾受命剿匪多年，收效不大，流血不少，唔，唔，还是你来了好！”言语间对绿林出身的张作霖加以嘲弄。吴俊升还在众人面前明知故问张作霖是什么时候被招抚的，弄得张作霖十分尴尬无地自容。不过张作霖是闯荡江湖的老手，还是按捺住一腔怒火，强笑应酬，使接风筵席没有闹翻。
不过在那次剿匪之役，张作霖一鸣惊人，追剿蒙叛匪告捷，得到清廷嘉奖。凯旋归来的张作霖，再也不是一年前被吴俊升嘲笑的张作霖了。为捐弃前嫌，结交修好，吴俊升屡次求见，均被张作霖拒之门外。最后还是吴俊升排除多种“困难”，在刀林剑从中示弱了一把，两人扳成平手。
最后造成两人地位之差距的事件发生在武昌起义后，彼时奉天城的革命与反革命的斗争日趋尖锐。在奉天的革命党人暗中商量独|立，推陆军第二混成协协统蓝天蔚为都督、奉天谘议局局长吴景濂为民政长，欲驱逐东三省总督赵尔巽，宣布东三省独|立。赵闻讯后，感到孤立无援，欲招外兵自卫，“或以张作霖及后路巡防队统领吴俊升忠勇可恃，乃急发电召之。”
此时张作霖正督剿子洮南地区，得讯后立即率所部骑兵星夜兼程南驰，不曾三日，遂达奉天，余众继进，即驻重兵于城中，逐中路巡防统领金道坚取而代之。于是，两路马步军俱入掌握。
而吴俊升初得电报踌躇不定，以行装未整，命所部于翌晨出发。“诘旦，吴俊升未起，有骑士持刺至云：“张统领率队过此，迫于严令不敢稽留，命某持刺来候，将于省中相见。”吴俊升闻之，瞠目结舌，久久不语，始悟迟发为失策，长叹说：“张公抑何神也！”
这一说，未免有演义的成分，但恐怕在吴俊升的心里，张作霖真是一个神奇的存在。反正，从此后，吴俊升再不与张作霖有任何冲突，而专心于剿灭蒙匪的战争----说是战争，是因为从清末起，蒙古势力在日本或俄国的支持下一直有不死之独|立心，正史上断断续续的剿匪一直到民国十年才得以告一段落。若以时间论，堪比抗战。
不过吴俊升平叛乌泰叛乱之胜利，从历史意义上说粉碎了沙俄****的图谋，维护了国家的统一和民族的团结；从个人角度，他也因此以骁勇善战扬名塞外。有人评论吴纯系武人，毫无政治才干，但生性强悍，亲临实战时，其作战之妙，在奉军统领中无出其右者，其论不为不公。
就在一个月前，段芝贵拟让吴俊升再兼东蒙镇守使，虽然结果因小段被驱而罢，但张作霖是留了个心眼的。为了