一方是以军机大臣铁良、荣庆等为主的满族亲贵。取消军机处，尽管他们可能另外任职，但权力毕竟要大大削弱。
而且，袁世凯还设想，待上议院成立后，王公、贝勒、贝子等不实际干政，让他们充当议员。这使得这些公、子们愤怒异常。
铁良坚称：“立宪非中央集权不可，实行中央集权非剥夺督抚兵权财权、收揽于中央政府则又不可”，其攻击矛头直接对准袁世凯、张之洞等地方督抚大员。满汉矛盾，隐然可现。
在一次会议上，醇亲王载沣竟拔出手枪直抵袁世凯胸前大声说：“尔如此跋扈，我为主子除尔奸臣！”经奕劻调解，方才作罢。
由于传说内务府也要裁撤，所有太监都要裁去，有次袁世凯下朝时百余名太监将他团团围住大声谩骂，有的甚至挥拳要打，几成围殴之势。
袁世凯招架不住，急忙大呼奕劻过来为其解围。经奕劻百般劝解，并保证绝不裁撤太监，这些太监才忿忿而去。
为避免更大的动荡，清廷不得不宣布了官制改革中的“五不议”：第一，军机处之事不议；第二，内务府事不议；第三，八旗事不议；第四，翰林院事不议；第五，太监事不议。
另一个主要的反对力量来自以瞿鸿穖、岑春煊、王文韶、赵炳麟等为要角的汉族大臣、御史。他们有的一直与袁争权，有的对袁结党营私愤怒已久，因此纷纷上折慈禧，坚决反对。有的从中国传统观念出发，认为改官制是“用夷变夏，乱国法而害人心”；认为这样内阁权重，如果“用人偶失，必出权臣”，有人甚至明确指出袁世凯的“责任内阁”实际为少数一二总理大臣专权，也就是袁世凯专权。
有的相反，从西方宪政制度对此进行批判，认为这次改制完全虚假，指出外国君主立宪国的责任内阁之所以不能专权是因为有议院监督、限制，中国议院一时恐难成立，所谓“责任内阁”既不对皇上负责又无议院负责，只是统揽了过去皇帝的权力。
人总是这样，维护自己利益是他们反对的真实原因，但个人利益受损的事是摆不到桌面上的。大家也都知道，上头最忌讳的是什么，便把矛头主要指向了责任内阁。
御史刘汝翼上奏说：总理大臣代替君主负责，是“率天下士大夫，内背朝廷……不可轻设”。
御史张瑞荫、吏部主事胡思敬上奏：内阁权重，“用人偶失，必出权臣”，君权将被取代，军机处万万不可撤。
御使赵炳麟指出：“立宪精神全在议院，今不筹召集议院，徒将君主大权移诸内阁，此何心哉！”
他与五名御史联名上奏：坚决反对设置责任内阁，说责任内阁必然导致大臣专权，皇权无存。
内阁中书王宝田、户部李经野、兵部马毓桢上奏：痛斥官制改革是“用夷变夏，乱国法而害人心”，设立责任内阁是“实阴以夺朝廷之权”。
内阁学士文海、御史陆宝忠则直接把矛头指向了袁世凯，说他乱政，败坏朝廷纲纪，应饬令其回本部，不能主持官制改革。
这样，从王公亲贵、大小太监到大臣御史，尽管观点不同，但几乎全都反对袁世凯的改革官制，不是到慈禧处哭诉哄闹就是不断上折，天天鸡飞狗跳。
现在朝廷之中，已经没有立宪不立宪，马上立宪和缓行立宪的派系对立，好像所有的派系都联合起来一致攻击袁世凯。
就连亦劻和徐世昌都不敢说话了。
载泽虽然是编篆官制改革方案的总负责人，但已经