一八六九年在镇压幕府残余势力的箱馆战役中表现出色，由山田显义推荐入大阪兵学校学习。
一八七一年八月十四日初任陆军少尉。历任陆士学生司令副官，后备步兵第六大队长，近卫步兵第一联队第一大队第一中队长。
一八七七年参加西南战争，在最大的一次战役中右手负伤。由此转入军事教育系统。任陆士学生大队大队长。
一八八二年作为闲院宫载仁亲王的随员赴法国，驻法公使馆附武官。一八八七年回国任陆军大臣大山岩的官房副官，秘书官兼陆军户山学校校长，陆士校长代理，陆士校长。由于得到日本陆军创始人山县有朋元帅赏识，任第一师团参谋长，参谋本部第一局长。甲午中日战争时任大本营运输通信部长官。
一八九四年八月二十七日晋升陆军少将。后历任参谋本部第一局长（事务代理），升男爵，参谋本部附，步兵第三旅团长。
一八九八年首任陆军教育总监，陆士校长（事务代理），同年升为中将。
一九零零年兼参谋次长兼铁道会议议长。一九零二年任第一届桂太郎内阁陆军大臣兼教育总监，并在第一次西园寺公望内阁、第二次桂太郎内阁中留任，任期长达十年。参与指挥日俄战争。一九零六年十一月二十一日晋升陆军大将，翌年九月二十一日升子爵。任铁道会议议长兼马政长官兼韩国统监兼第一任朝鲜总督。
在职六年中，镇压了朝鲜人民的反抗斗争，建立了日本对朝鲜的殖民统治。完全吞并朝鲜。
一九一一年四月二十一日升伯爵，一九一六年六月二十四日授予元帅称号，在山县有朋的坚决支持下，同年十月九日接任第十八任日本内阁总理大臣。
寺内正毅是个从政老手，一上台就高唱日“支”亲善。日本外相后藤邀晤中国公使章宗祥密谈，希望中国派一个亲善使节到日本进行关于解决中日悬案的谈判，日本且愿借款支持中国政府。
日本希望中国政府先派亲日的曹汝霖为秘使前来日本，把一切条件谈妥，然后再派一个如徐世昌这样的，亲日色彩并不浓的大员，以正式使节出面来签订这个协定。
章宗祥把这消息告诉了曹汝霖，曹本应列入帝制祸首名单内，由于日本公使的庇护才得逍遥法外。
曹得到章宗祥的秘讯，向段进言，提出“攘内”必先“安外”，必须借外援统一这个四分五裂的中国。所谓的外援，就是取得外国的政治借款和军火供应，有了这两项，就可以镇压国内的反对力量。
曹又推论袁世凯的外交失败原因，是外交上采取了联英联美以制日的错误方针。日本近，英美远，远水不能救近火，英美忙于欧战，抽不出力量到东方来。中国向美国借款，或者亲近英美，首先就会受到日本政府的强力反对，而西方国家为了讨好日本，在紧要关头上也会牺牲中国，弱国不能采取“远交近攻，以夷制夷”的外交政策，而只能采取“近交善邻”的外交政策。
段祺瑞正苦于自己的政权不稳，财政上已经面临山穷水尽，对外借款波折重重。军事上他也不能控制南方，甚至不能控制北洋派。加上总统和国会又处处和他为难。很自然地听了曹的话，希望得到日本这个外援。段也认为徐世昌是最好人选，就派人去作徐世昌的工作。
日本是对中国最有威胁的列强，徐世昌是个老狐狸，当然不会去干这种“汉奸”勾当，拒绝担任赴日特使的工作。
民国五年十一月二十六日，段根据曹的意见，以国务院的名义令章宗祥先与日本政府接洽，派曹汝霖为亲善特使。
这件重大任命，段既未通过国务会议，也把总统蒙在鼓里。直到十一月三十日日本同意了，段才提交国务会议。还是把问题的真相隐瞒着，只轻描淡写地把这件事说成是外交上的一种仪式，因为日本内阁改组而派使致意，阁员们果然被瞒过。
十二月一日段把拟好的命令：“派曹汝霖为特使以大勋位赠与日皇”送到总统府去盖印，并令曹亲自去谒黎说明一切。曹见到黎，说得也是一番官话。
不料曹的话还没有说完，老好人的黎元洪竟陡然站起来，大声叱骂说：“好，你们要卖国，我黎元洪偏不让你们卖国。”
曹汝霖碰了一个大钉子，垂头丧气地退了出来。
曹汝霖被黎元洪轰出来后，正巧新任国务院秘书长张国淦也来谒黎。
黎余怒未息，见了张也没好气：“好，你们集体卖国！”
张找黎是来谈别的事，如丈二金刚摸不着头脑，只好僵在一边。直到黎气平后，把经过告诉了张，张才知原委，便建议黎，把这个问题提交国会去解决。
梁启超、汤化龙一派的研究系议员，虽然极力维持段内阁，但无济于事。参、众两院同时