康熙十二年（1673年）癸丑科一甲三名进士（探花），授编修，选右中允。官至吏部侍郎，时人评为“文行兼优”。后与刑部侍郎绥色克同赴陕西，审理粮盐道受贿案，拟罪失当，贬詹事。后擢内阁学士。

　　康熙十四年（1675年），徐秉义典试浙江，一时知名之士咸登科焉，号能得人。

　　康熙二十八年（1689年）四月，都察院左副都御史许三礼弹劾徐乾学结党营私，争权夺利，并纵容子侄贪赃受贿，广占田产。但对徐秉义，许三礼则说他“文行兼优”，向朝廷恳切举荐，希望能够加以重用。康熙三十三年（1694年）三月三日，徐秉义、钱陆灿、孙旸、盛符升、徐乾学、尤侗、何棒、黄与坚、王日藻、许缵曾、周金然、秦松龄等十二位老耆聚饮修禊于遂园，宫廷画家禹之鼎绘《逐园耆年楔饮图》。

　　康熙三十六年（1697年），擢少詹事，日讲起居住官。康熙三十八年，升任詹事。

　　康熙三十九年（1700年），任殿试读卷官。

　　康熙四十一年（1702年）出任顺天乡试主考官。后，徐秉义告假还乡。

　　康熙四十四年（1705年），圣祖南巡时，徐秉义陪同游园，御赐“恭谨老成”匾。

　　康熙五十年（1711年），卒。