早年经历
李义府早年因祖父担任射洪县丞，迁居永泰（今四川盐亭）。贞观八年（634年），李义府因善写文章被剑南道巡察大使李大亮表荐为门下省典仪，后又得到刘洎、马周的举荐，改任监察御史，并随侍晋王李治。
累职拜相
贞观十七年（643年），唐太宗立李治为皇太子，任命李义府为太子舍人、崇贤馆直学士。他进献《承华箴》，提到“佞谀有类，邪巧多方。
其萌不绝，其害必彰”，虽是极力逢迎太子，却被认为是耿直坦荡之人。
贞观二十三年（649年），唐太宗病逝，太子李治继位，是为唐高宗。李义府改任中书舍人。永徽二年（651年），唐高宗又命李义府兼修国史，加弘文馆学士。
永徽六年（655年），李义府得罪宰相长孙无忌，被贬为壁州司马。敕书尚未下达门下省，他便已秘密获知，并与中书舍人王德俭商量对策。王德俭道：“皇帝欲立武昭仪为皇后，但又害怕宰相不同意，所以尚未正式提出。你若能推助此事，定可转祸为福。”李义府遂代替王德俭值夜，趁机叩门上表，请求废黜王皇后，改立武昭仪（即武则天）。唐高宗大喜，召见李义府，并收回贬官敕书，将他留居原职。
同年十月，武则天被立为皇后。不久，李义府被拜为中书侍郎、同中书门下三品，封广平县男。他与许敬宗、王德俭、崔义玄、袁公瑜、侯善业等人相互援引，狼狈为奸，贬杀忠臣，使得武则天最终得以窃取权柄。
多行不法
显庆元年（656年），李义府兼任太子右庶子，进爵广平县侯。当时，洛州女子淳于氏因罪被关入大理寺监狱。李义府听闻淳于氏貌美，便暗中指使大理丞毕正义将她释放，然后纳为妾室。大理寺卿段宝玄据实上奏，唐高宗便命给事中刘仁轨、侍御史张伦审理。李义府担心事情败露，竟逼令毕正义在狱中自缢，以断绝实证。唐高宗虽知实情，但却没有追究李义府的罪责。
后来，侍御史王义方弹劾李义府道：“义府擅杀六品寺丞，理应治罪。”李义府出班辩斥，经王义方三次叱责，这才怏怏退下。唐高宗大怒，认为王义方诋毁大臣、言辞不逊，将他贬为莱州司户。朝后，李义府得意地问道：“王御史妄加弹劾，惭不惭愧？”王义方正色道：“孔子担任鲁国司寇，仅七天便诛杀少正卯。我王义方就任御史已经十六日，却不能诛杀奸邪，确实有愧。”不久，李义府兼任太子左庶子。
显庆二年（657年），唐高宗擢升李义府为中书令、检校御史大夫、太子宾客、河间郡公，并为他修建宅第。当时，李义府宠冠朝廷，家中子弟都被封为清要官职。他生性贪婪，与妻子、子婿大肆卖官鬻爵，又多引腹心、广结朋党，权势熏天。
此前，杜正伦担任中书侍郎，而李义府则为门下典仪，后二人一同担任中书令。杜正伦自恃前辈，对李义府非常轻视。显庆三年（658年），杜正伦与中书侍郎李友益谋除李义府，结果事情泄露，被李义府告知皇帝。二人在唐高宗面前争论，各执一词。唐高宗以“大臣不和”为由，贬李义府为普州刺史、杜正伦为横州刺史，并将李友益流放峰州。
显庆四年（659年），李义府被征召回朝，兼任吏部尚书、同中书门下三品。此前，李义府自称出身赵郡李氏，被给事中李崇德列入族谱。他贬官普州时，李崇德却将他除名，因此怀恨在心。李义府回朝后，命人罗织罪名，将李崇德下狱。李崇德最终在狱中自杀。
龙朔二年（662年），唐高宗更改官制，李义府改任司列太常伯、同东西台三品。他奏请皇帝，将祖父改葬到永康陵侧，并征调七县民丁，昼夜不停的运土修坟。满朝王公争相馈赠奠仪，送葬队伍绵延七十里，极尽奢华。同年十一月，唐高宗封皇八子李旭轮（即李旦）为殷王，命李义府兼任殷王府长史。
流放巂州
龙朔三年（663年），李义府升任右相，仍旧主持铨选。他在皇帝面前谄言自媚，出外则肆意乱法，百官尽皆畏惧，无人敢言其过。唐高宗对此略有所知，告诫他道：“听说你的儿子、女婿多有不法之事，我都为你掩饰，你该对他们多加管教。”李义府勃然变色，问道：“是谁告诉陛下的？”高宗道：“你知道就行，不必问我是怎么知道的。”李义府也不谢罪，扭头便走。唐高宗虽未追究，但也深为不满。
不久，李义府请术士杜元纪望气。杜元纪道：“您的宅第有冤狱造成的怨气，如果积蓄二千万钱，可以将怨气压制。”李义府深信不疑，更加急切的搜刮钱财，还趁哭吊亡母之时，与杜元纪微服出城。时人都认为李义府在窥测灾异，图谋不轨。这时，李义府又向长孙无忌之孙长孙延索取七百贯，授给他司津监的官职，结果被右金吾仓曹参军杨行颖告发。
四月，唐高宗将李义府下狱，命司刑太常伯刘祥道联合御史台、详刑寺（即大理寺）一同审讯，并由司空李勣进行监督。不久，唐高宗下诏，将李义府长期流放巂州（今四川西昌），其子婿也都遭到流放。朝野对此无不称庆，有人甚至写了篇《河间道行军元帅刘祥道破铜山大贼李义府露布》，张贴在交通要道上。
忧愤而死
乾封元年（666年），唐高宗封禅泰山，大赦天下，但却不许长期流放的罪囚返回。李义府忧愤不已，发病而死，时年五十三岁。至此，担心他再度起复的朝士方才安心。
上元元年（674年），李义府的妻子、儿女遇赦，得以返回洛阳。如意元年（692年），武则天念及李义府此前的辅助之功，追赠他为扬州大都督，后赐实封三百户。景云元年（710年），唐睿宗继位，又将李义府的实封收回。
