自二次北伐再起，日本政府即决定乘机向张作霖进一步逼索满蒙特权，同时强迫奉军出关，以免南京国民政府势力乘胜推进至东北地区。5月16日，日本内阁会议决定：必须绝对阻止北伐军进入关外。17日，日本公使芳泽向张作霖递交备忘录，劝告奉军立即自动撤回东北。
在日本武力恫吓和南京北伐军步步进逼的情况下，奉系内部主张和谈撤军的新派势力渐占上风。当时奉系将领中，主战最力的是其旁系鲁军首领张宗昌。他为了夺回失去的地盘，不惜引狼入室，公然声称欢迎日本出兵华北，以阻止北伐军占领京津，并反对张作霖的息争议和通电，决心拼命再打。张学良、杨宇霆则主张有条件地与南京政府言和撤兵。他们与南京方面代表秘密接触，一面轮番向张作霖进言。一直在和战之间游移不定的张作霖作出最后抉择。5月30日，张作霖在北京怀仁堂召集高级将领会议。张学良、杨宇霆、张作相、孙传芳、潘复等军政要人出席。会上，张作霖决定以大元帅名义下达总退却令。6月2日，张作霖发表通电宣布：“整饬所部退出京师，所有中央政务暂交国务院摄理，军事归各军团长负责。此后政治问题，悉听国民裁决。”奉系对北京中央政权的控制就此结束。