早年经历
大业十三年（617年），魏徵在武阳郡丞元宝藏帐下为官。元宝藏起兵响应瓦岗李密，元宝藏给李密的奏疏都是魏徵所写，李密见魏徵非常有文才，于是召见魏徵，魏徵献上壮大瓦岗的十条计策，但李密不用。
大业十四年（618年），王世充袭击仓城被李密击败，王世充转攻洛口，又被李密击败。魏徵却对长史郑颋说：“李密虽然多次取得胜利，但是兵将也死伤了不少，瓦岗又没有府库，将士们取得战功得不到赏赐。还不如深沟高垒，占据险要，与敌人相持，待到敌人粮尽而退时，率军追击，这才是取胜之道。洛阳没有了粮食，王世充无计可施就会与我军决战，这时我们却不跟他交战。”郑颋对魏徵的话不以为然，说这是老生常谈的。魏徵说了一句：“这是奇谋深策，怎么是老生常谈呢。”拂袖离去。
归唐献策
唐武德二年（619年），李密被王世充击败，魏徵随李密归降李唐。而李密部将李勣尚且占据着李密原来管辖的领土，东到大海，南到长江，西到汝州，北到魏郡。李密投降李唐，李勣自己占据这么大的地方不知何去何从。魏徵毛遂自荐，请求安抚山东，到黎阳，魏徵作书与李勣，劝李勣投降。李勣于是派遣使者至长安，将献城的功劳都归给李密，然后押运粮草到李神通那里。
同年九月，窦建德率军攻打相州，李神通抵挡不住，率军转驻黎阳，被窦建德击败。魏徵及李神通、李勣都被俘虏。窦建德用魏徵为起居舍人。
武德四年（621年），李世民率军攻打王世充，窦建德率军来支援王世充。五月，李世民击败窦建德，并将其生擒。魏徵得以再次入唐。太子李建成用魏徵为太子洗马，礼遇甚厚。
武德五年（622年），刘黑闼勾结突厥寇犯山东。魏徵见李建成虽然是嫡长子，但是功绩不如李世民，于是建议李建成去请战立功。李建成听从魏徵的建议，擒斩刘黑闼，平定山东。
武德九年（626年），李世民发动玄武门事变，将李建成、李元吉等诛杀。李世民听说魏徵以前经常劝谏李建成把李世民安排到别的地方去，李世民派人把魏徵带问道：“你为什么要离间我们兄弟？”魏徵回答说：“太子要是按照我说的去做，就没有今日之祸了。”李世民见魏徵说话直爽，没有丝毫隐瞒，于是赦免魏徵，并用魏徵为詹事主簿。
犯颜直谏
贞观元年（627年），李世民登上帝位，任命魏徵为尚书左丞。李世民有志建立盛世，多次于卧榻召见魏徵询问得失，魏徵直言不讳，前后上谏两百多事，李世民全然接纳。
同年，河北一带原太子李建成、齐王李元吉的旧属因玄武门事件搞的人人自危，李世民派魏徵前往河北进行安抚。路上魏徵正好碰见太子千牛李志安、齐王护军李思行被押往京城，魏徵让将二人释放，仍旧任命官职，这样河北太子旧属才会相信李世民是真的要赦免他们。
贞观三年（629年），魏徵被任命为秘书监，开始参预朝政。魏徵上奏李世民带领学者将古籍分为四部，并对其进行校定。
贞观五年（631年），李世民与魏徵谈及了选人为官一事，魏徵说先要了解他的才能，然后审核他的品德，以及爱好这些。
长乐公主李丽质因长孙皇后所生，李世民对她特别钟爱，将她许配给长孙无忌之子长孙冲。贞观六年（旧唐书魏徵传为贞观五年）开始准备嫁妆，唐李世民对众臣说“长乐公主，皇后所生，朕及皇后并所钟爱。今将出降，礼数欲有所加”。大臣纷纷表示“陛下所爱，欲少加之”，于是进言请求双倍于永嘉长公主，李世民欣然同意。然而魏徵对此表示反对。因为永嘉公主乃是长乐公主的姑姑。此举逾越了礼制。李世民回宫把此事告诉了长孙皇后。长孙皇后得知此事后感叹魏徵能“引礼义抑人主之情”，并对他大加赞赏。特地派人前去赏赐给魏徵绢四百匹、钱四百缗，并传口讯说：“听闻你正直，现在见识到了，希望你一直保持，不要改变”。在李世民并未有所表示的时候，长孙皇后直接对魏徵加以赏赐，并暗示自己会给予支持，可谓给魏徵注入了强心剂。也正是因为有长孙皇后这样的靠山，魏徵的正义直谏才会这般顺利。不久魏徵晋升爵位为郡公。
贞观七年（633年），魏徵代王珪任侍中，尚书省长期积压没有判决的诉讼案，李世民命魏徵秉公处理。魏徵不大熟悉法律，但能抓住根本原则，依实际情况处理，大家都心悦诚服。
贞观八年（634年），陕县丞皇甫德参上书触怒了李世民，李世民认为这是毁谤。魏徵进言说：“从前贾谊在汉文帝时上书，曾说到‘可以为帝王痛哭的事有一件，可以为帝王长叹息的事有六件’。从古以来上书奏事，往往言辞很激切，如果不激切，就不能打动人主的心。言辞激切就近似毁谤，陛下你应该仔细想一下这样的事对还是不对。”李世民觉得魏徵说的有道理，下令赏赐给皇甫德参帛二十段。
贞观十年（636年），长孙皇后去世，葬于昭陵，谥号文德皇后。长孙皇后入葬昭陵后，李世民对她思念无法停止，为了缓解思忆之苦，便在宫中建起了层观，终日眺望妻子的陵墓，还让大臣陪同悼念。一次李世民让魏徵陪同，并指着昭陵的方向问魏徵是否看清了，魏徵装作没看见，李世民顿时着急，问“怎么会没看见，那是昭陵啊！”魏徵闻言回答说“以为陛下望的是献陵，原来是昭陵啊！”李世民听后明白魏徵是在提醒自己，不要只顾及思念亡妻而忘了父亲。于是便哭着下令拆掉了层观。尽管李世民这样追思妻子的行为是违背礼教传统的，却是一个天子的真情流露。
贞观十一年（637年），李世民东巡洛阳，住在显仁宫，因州县官吏供奉不好，大都受到了谴责。魏徵告诉李世民当初隋文帝杨广曾在此让附近的百姓上贡，贡品吃不完就扔掉，十分浪费。
贞观十二年(638)，礼部尚书王珪上奏说：“三品以上的官员在路上遇到亲王，都下车，违反法度来表示恭敬，这违背了礼仪的标准。”李世民说“：你们自己的地位都尊贵，就轻视我的儿子吗？”魏徵进言说“：从古至今，亲王列在三公之下。现在三品都是天子列卿和八座之长，为亲王下车，不是亲王所应当受的礼。求之于旧例，又没有可以作为凭证的依据；施行于现在，又违背了国法。”李世民说：“国家所以立太子，是准备他做国君。然而人的长短，不在老少，假如没有太子，那就依次立太子同母的弟弟。这样说来，怎么能轻视我的儿子呢？”魏徵说：“殷代崇尚质朴，有兄长去世其弟即位的礼义；自周以来，立太子必定要是嫡出的长子，以这杜绝各个兄弟的私念，堵塞祸乱的根源，这是国君应当十分慎重的事。”于是李世民同意了王珪的奏言。
贞观十二年三月丙子，李承乾的嫡子李象出生，因为皇孙诞育之喜，唐李世民诏令天下见禁囚徒都降罪一等，内外官职事五品以上子为父後者，各加勋官一转，天下大酺五日，又大宴五品以上于东宫。李世民对侍臣说：“贞观以前，跟随我平定天下，辗转奔波于乱世，这是房玄龄的功劳。贞观之后，尽心对我，进献忠直的劝告，安国利民，敢于冒犯国君尊严直言规劝，纠正朕的过失的，只有魏徵一人而已。古代的名臣，也不能超过他们。”于是亲自解下佩刀，赐给他们两人。
贞观十三年五月，魏徵乘李世民诏五品以上官上封事之机，全面地、系统地总结了政事不如贞观之初的事实，上奏《十渐不克终疏》。疏中列举了李世民搜求珍玩、纵欲以劳役百姓、昵小人、疏君子、崇尚奢靡、频事游猎、无事兴兵、使百姓疲于徭役等不克终十渐，批评了李世民的骄满情绪，再次提醒他慎终如始。李世民看完奏疏后，欣然接纳，并对他说：“朕今闻过矣，愿改之，以终善道。有违此言，当何施颜面与公相见哉！方以所上疏，列为屏障，庶朝夕见之，兼录付史官，使万世知君臣之义。”遂赐黄金十斤、马二匹。
贞观十四年（640年），魏徵向李世民上谏，让李世民要善始善终。
贞观十六年（642年），后来皇太子李承乾不学习德行和术业，魏王李泰的宠爱一天天增长，朝廷内外众官，都有些疑虑和议论。李世民听到后很厌恶这些议论，对侍臣说：“当今朝臣忠诚正直的，没有人能超过魏徵，我派他辅佐皇太子，用这杜绝天下的怨言。”李世民任命魏徵为太子太师，知门下省事如旧。魏徵自称有病推辞，李世民下诏回答说：“汉朝的太子以四老为辅佐，我现在依靠您，也是这个道理。知道您患病，你卧病也可以保全太子。”
去世
贞观十七年（643年）魏徵病死，李世民非常伤心，并为此废朝五天。追赠魏徵为司空、相州都督，谥“文贞”。
李世民下诏厚葬魏徵，但魏徵的妻子裴氏以魏徵生平生活简朴朴素，豪华的葬礼不是亡者之志为由拒绝。裴氏只有小车装载魏徵灵柩，李世民召文武百官出城相送，并亲自刻书碑文。
魏徵死后，李世民经常对身边的侍臣说：“用铜镜可以端正自己的衣冠，以古史作为镜子，可以知晓兴衰更替，以人作为镜子，可以看清得失。我经常用这样的方式防止自己犯错，但现在魏徵去世，我少了一面镜子。魏徵去世后朕派人到他家里，得到他的一页遗表，才刚起草，字都难以辨识，只有前面几行，稍微可以辨认，上面写道：‘天下的事情，有善有恶，任用善人国家就安定，任用恶人国家就衰败，公卿大臣中，感情有爱有憎，自己憎的就只看见他的恶，自己爱的就只看见他的善。爱憎之间，应当审慎，如果爱而知道他的恶，憎而知道他的善，除去邪恶不犹豫，任用贤人不猜忌，国家就可以兴盛了。’遗表的大意就是这样，然而朕思考这事，自己恐怕不能避免魏徵所说的这些过错。公卿侍臣，可以把这些话写在手板上，知道朕有过错一定要进谏。”
同年二月，李世民命阎立本画二十四功臣像置入凌烟阁，魏徵位列第三。
不久之后，侯君集以谋反罪被处死，杜正伦被罢免，魏徵曾经向李世民推荐这两人，说他们有宰相之才，魏徵又拿自己前后的谏辞给史官褚遂良，李世民知道开始怀疑魏徵是不是侯君集一党的。于是手诏取消衡山公主（后来被封为新城公主）与魏徵长子魏叔玉的婚约。
贞观十九年（645年），李世民亲征高句丽，战士死伤数千人，战马损失十分之七八，他深深悔恨这一举动，不禁慨然叹息说：“魏徵若在，不使我有是行也。“于是立命驰驿以少牢之礼祭祀魏徵，又重立纪念碑。
