十八岁时，因生活所迫与弟弟靳云鹗，投奔了袁世凯在天津小站督练的“新建陆军”。其弟靳云鹏因眼斜，被以貌取人，只列名备补兵，清扫马厩厕所。
靳云鹏做事勤朴踏实，某次袁世凯巡营，见靳工作认真，好学不倦，遂予提升。四年后，被选入附设炮队随营武备学堂第一期学习。毕业后留任教习，深得该学堂监督段祺瑞的赏识和器重。
一九零二年任北洋军政司（后改北洋督练公所）参谋处提调，后改任浙江新军标统。一九零九年，经段荐举，调任云南清军第十九镇总参议，后任段祺瑞第二路军的总参谋。
这是个为中国从专制和平过渡到民主共和中做出过特殊贡献的人，他也因此而名声大振。辛亥革命后，南北和谈期间，段祺瑞曾和南方军方开第二条谈和通道，就是由靳云鹏具体操作的。从此，更成为段祺瑞的亲信。
一九一二年七月经段祺瑞举荐，靳云鹏任第五镇统制，并会办山东军务。同年九月授陆军中将，经段祺瑞向袁世凯保荐，再任北洋军第五师师长，一九一三年八月暂行代理山东都督，并加陆军上将衔，十二月正式任命。两年后，又被袁世凯任命为泰武将军，督理山东军务。
一九一五年，袁世凯密谋称帝，九月十五日，他曾参与十四省将军联名电请袁世凯登基。一九一五年十二月被袁授封一等伯爵。
他在心底是不赞成复辟帝制的。一九一六年四月，和反袁护国相呼应，他密电各省，准备联名通电袁取消帝制，因人告密而遭袁忌恨。于五月三十日被袁世凯边缘化调将军府。但因祸得福，获“反对帝制”的美名。
靳平素事母至孝，而靳老夫人虽目不识丁，但却是个品德高洁之人。其两子虽已大贵，靳家家风仍极朴厚，袁世凯在日对靳母赞不绝口。
有记载：每逢袁家请靳母吃饭，这位老太太必带四包礼物：“鸡蛋十个，豆腐四块，煎饼六斤，咸菜一罐。”而礼单上则写的是：“吉子十个，都福赐快，坚兵禄金，贤才一贯。袁世凯必亲自点收，即席大嚼，宾主称快”。
靳云鹏从政的同时，也致力于办实业，特别是晚年。曾与日本大仓系财阀合办胶东鲁大矿业公司，代表中方出任理事长兼总经理。还在济宁、济南等地广置房宅和田产，又与人合伙投资在济南开设鲁丰纱厂，还在济宁等地开办电灯公司、济宁面粉公司等企业。据不完全统计，从一九零八年到一九二六年的十八年中，他独家投资或合伙经营企业有二十多家，拥有资产六千五百万元之多。
靳云鹏是属于白手起家之人，当上国务总理这年刚刚四十岁。
靳云鹏虽然是段祺瑞的四大金刚之一，皖系的大将，但他不像段和小徐一样到处树敌，而是待人以诚而游走各方。
除了和奉系首领张作霖及直系曹锟有特殊关系外，因为是山东人，和直系的实力分子王占元、吴佩孚又有同乡之谊。
在冯（国璋）、段（祺瑞）之间他曾起过桥梁作用，又是曹（锟）、张（作霖）之间的媒介。
他还透过吴佩孚和西南示好，策动全国名流举行和平联席会议。预定的人选有：直隶严修，江苏张謇，浙江钱能训，安徽龚心湛，湖北周树模，湖南熊希龄，江西李盛铎，陕西于右任，广东唐绍仪，广西岑春煊，云南张耀曾，贵州朱启钤，福建张元奇。
这也就使得他能赢得多方面的支持。
靳云鹏的抱负是要促成直皖两系重归于好，进而促成南北和议。他有一个打算，想请吴佩孚出任北方总代表，曾派吴光新到衡阳拜访吴佩孚。他认为吴佩孚和西南方面已连成一气，如果吴出面，和谈是会达成圆满结果的。
这时，正值王揖唐在上海四处碰壁，王却扬言不离沪，不辞职。
靳听了冷笑说：“看你冷板凳坐到几时？”
靳云鹏组阁是安福系最失落的事，也是徐树铮最不利的时候。幸而小徐在外蒙古立了大功，回到北京还有威风。
小徐去西北，本是大徐一个调虎离山之计，只是想把他充军到外蒙古，免得他在北京搞风搞雨，怎知却给了小徐一个立大功翻身的机会。
当小徐第一次由库伦返京时，带了外蒙请求撤治的全卷来。他的架子真大，国务院请他列席报告，他竟派杨志澄代表参加。
虽然这个时候小徐的死敌靳云鹏主政国务院，尽管很不情愿，但迫于情势，无法不接受小徐的要求，裁撤了库伦都护使，外蒙问题悉由筹边使全权办理。