康熙十二年，徐秉义中探花，授翰林院编修。徐秉义与兄长徐乾学、及徐元文被人称作“昆山三徐”、“同胞三鼎甲”，斋号“集义居”。他的长兄徐乾学是康熙庚戌科探花，他的弟弟徐元文是顺治己亥科状元。他们的母亲对他们教育非常严格。读书背诵总是到夜半，从不放松。到他们都成了国家栋梁时，也总是提醒他们谨慎行事，出以公心，认真选拔有识的寒门人才等。徐家的女婿申菽饰也是江南省考解元。一门之中这么多人在朝为官，又都是出类拔萃的人才，三百年清朝之中没有可与之相比的。传说，徐秉义的父亲在明朝兵乱时，曾将数十妇孺藏于隐蔽处，以火烧宅子骗走乱兵，说“被救之人已烧死”，使数十名妇女、儿童性命得免杀害，当时人称徐家有德。
康熙十四年，徐秉义典试浙江，一时知名之士几乎全被选拔完了。秋，徐秉义以史馆纂修被征召入京，授左中允。此后，徐元文任日讲起居注官，教习庶吉士。徐秉义参与馆选。作为教司，考虑以兄拜弟不合礼教，而不拜教司不合王法。徐元文上疏辞去职务，康熙帝不答应。特免去徐秉义教司，此事才得以了结。康熙二十二年，拟纂修《一统志》，康熙帝说此事必定得徐家兄弟干了，徐秉义参与其中。而后，他出任《大清一统志》总裁官。升侍讲，累官至詹事府右中允。康熙三十六年，擢少詹事，日讲起居住官。康熙三十八年，升任詹事。康熙三十九年，任殿试读卷官。后授任《明史》总裁官。几经升迁任吏部侍郎。过年以后，徐秉义因与刑部侍郎绥色克一起在审理盐道黄明受贿案时，拟定罪不对，而降级，调任詹事府詹事。又赶上朝考翰林詹事，他应试的《万寿无疆赋》，名列第一，例当升职。在职期间，历官升至内阁学士、吏部侍郎。康熙四十一年出任顺天乡试主考官。最后，徐秉义告假还乡。康熙四十三年秋，回到老家。第二年开春，康熙帝南巡时，他陪同登玉峰，游徐乾学家的遂园。康熙帝亲笔书写“恭谨老成”的榜额赏赐给徐秉义，对他一生作了肯定。从此他杜门却扫，购求古籍，供稿本抄录。常与黄宗熙、万斯同等切磋。徐秉义死于康熙五十年。
徐秉义享有文名，一时誉满京城。他天生的老实持重，专心攻读举子事务，阐发经传微言精旨。徐秉义博览群书，即使退居山林，但他所记下的只言片语，必定要求合于经史。他高风亮节，朝野上下共闻。所著诗稿，高雅幽洁，纤尘不染。康熙年间，朝中高士在评价昆山三徐时称：“公肃（指徐元文）仁人君子，健庵（指徐乾学）大人君子，果亭（徐秉义之号）正人君子。”埠有《易经识解》五卷、《培林堂书目》及《耘圃培林堂代言集》等。
辞官后居于家中，杜门购求古书，以校雠编次图书为业，藏书处名为“培林堂”，与兄徐乾学互通佳本名抄，或借书抄录。仿《传是楼书目》，编撰有《培林堂书目》，著录图书600余种（一说为3 300种），其中有宋代精椠数种，元刊明本较多，清人名家影抄本、稿本10多种。主张藏以致用，认为收藏是为了做学问时备查，“学问不在多积书，然书可以备查考；书亦不必皆宋版，然宋版可以资校对”。著有《耘圃培林堂代言集》、《经学拾余》。
