导语


近日,香港中文大学(深圳)—深圳市大数据研究院—华为未来网络系统优化创新实验室,广东省大数据计算基础理论与方法重点实验室的核心成员尹峰教授与博士生张天健在深度学习领域顶级会议ICLR 2022上发表以“Fast Generic Interaction Detection for Model Interpretability and Compression”为题的文章。

香港中文大学深圳SSE | 来源



会议链接:

https://iclr.cc

文章链接:

https://openreview.net/forum?id=fQTlgI2qZqE

代码链接:

https://github.com/zhangtj1996/ParaACE




1. 研究背景




深度学习模型通常过参数化,可解释性差,提高模型压缩效率和模型可解释性一直是业界和学界关心的问题。



本文聚焦于对特征间非线性交互作用的检测和挖掘,利用通过解释黑盒模型得到的特征交互作用的信息,重新设计模型,从而达到简化模型结构、提升模型精度的目的。






2. 研究方法




文章的主要方法分为两步,特征交互作用的检测和参数化ACE模型(ParaACE)构建。


图 1 主要方法概览


步骤一:从黑盒模型中检测特征交互作用



文章中作者从特征交互作用的定义出发,利用二阶导数信息检测特征交互作用,并用有限差分法进行数值计算。



作者发现对于模型的特征交互检测任务,有限差分的扰动h并不是越小越好,较大的h反而能提高交互作用检测的准确率,并从理论上说明了这样做的有效性。



另外,针对黑盒模型(任意函数F)计算开销大的情况,作者提出用UCB算法对特征交互作用检测来降低计算复杂度。若模型F中的交互作用具有稀疏性的特点,我们没有必要对相对弱的交互作用对进行过多的采样。


作者利用此方法在波士顿房价、帕金森综合征、药物组合发现等数据上得到了有趣的发现。



步骤二:参数化ACE模型(ParaACE)构建


利用检测到的特征交互,作者构建了参数化ACE模型(图1右),使得模型得以压缩并兼具可解释性和预测精度。从ParaACE的模块中,人们可以可视化观察特征和特征交互对是如何变换的,从而了解其中的含义。



作者在10个仿真数据集和5个真实数据集上验证了该方法的有效性见表一和表二(NRMSE越小越好,压缩率CR越大越好)


表1 仿真数据预测精度NRMSE


表2 真实数据预测精度 NRMSE





3. 研究结论及展望




此工作中作者提出了一种通用的特征间交互作用快速检测方法,并用于模型再设计。该交互作用检测方法不受限于模型的种类,可以适用于任意模型;根据特征交互作用设计的新模型ParaACE具有参数量少、所需训练样本少、预测精度高、可解释性强等特点。上述方法有望应用于金融、医疗、生物、通信等黑盒模型广泛使用但缺乏解释的领域,帮助人们更好的理解和迭代模型。




4. 作者简介




本文第一作者是博士研究生张天健,由香港中文大学(深圳)理工学院的尹峰教授与罗智泉教授共同指导。


罗智泉教授于1984年在北京大学数学系获学士学位。同年他经美国数学学会以及美国工业与应用数学学会联合选拔(又称陈省身项目),获赴美攻读博士资格,进入美国麻省理工学院电子工程与计算机科学系以及运筹学中心学习,并于1989年获得博士学位。1998年成为加拿大麦克马斯特大学终身教授。2000年至2003年,任加拿大麦克马斯特大学电子与计算机工程系主任以及加拿大国家科研讲席教授。2003年至2014年,任美国明尼苏达大学电子与计算机工程系终身教授以及ADC讲席教授。自2014年5月,罗智泉教授被聘为香港中文大学(深圳)副校长,主管学术和科研。自2016年3月起,罗智泉教授兼任深圳市大数据研究院院长。自 2018年 6月起,罗智泉教授兼任香港中文大学(深圳)-腾讯 AI LAB 机器智能联合实验室主任。2020年9月,罗智泉教授兼任香港中文大学(深圳)—深圳市大数据研究院—华为未来网络系统优化创新实验室主任。


罗智泉教授曾荣获2010年美国运筹学和管理学研究协会(INFORMS)颁发的Farkas奖,以表彰他在最优化领域的杰出贡献。2018年,他获得 Paul Y. Tseng 连续优化纪念奖(Paul Y. Tseng Memorial Lectureship in Continuous Optimization) 。他在优化、信号处理及通信等领域的研究成果曾分别获得2004年、2009年、2011和2015年IEEE信号处理学会、2011年国际通信大会以及2011年欧洲信号处理学会的最佳论文奖。2021年4月,他被授予2020世界华人数学家联盟最佳论文奖(银奖) 。罗教授同时是电子工程师学会(IEEE)会士和美国工业与应用数学学会(SIAM)会士 。2014年他当选加拿大皇家科学院院士。2016年,他入选广东省领军人才。2021年,他当选中国工程院外籍院士。


罗智泉教授的研究主要集中在优化理论、算法设计以及其在信息科学中的应用。他多次被邀请在国际重要学术会议上做大会特邀报告,他是2003年国际数学规划会议大会以及2011年IEEE决策与控制大会特邀报告人、2006年IEEE SAM Workshop的杰出演讲者、2013年IEEE SPAWC会议以及2014年IEEE通信理论国际研讨会的大会特邀报告人。他曾任IEEE信号处理学会SPCOM技术委员会主席,曾担任IEEE信号处理期刊主编以及《运筹学数学》(Mathematics of Operations Research), 《管理科学》(Management Science)和《数学规划》(Mathematical Programming)等国际著名杂志的编委。除了教学科研,罗教授还长期为国内外高科技企业以及政府研究机构提供技术咨询。


尹峰在上海交通大学攻读电子信息工程专业并于2008年获得本科学位。本科毕业之后,他来到德国达姆斯塔特工业大学继续攻读电子信息工程,并于2011年和2014年分别获得硕士和博士学位。在攻读博士学位期间,他获得了国家优秀自费留学生奖学金。在2014年,他从欧盟获得了玛丽居里学者奖学金。博士毕业后,他加入了瑞典爱立信研发部。他的主要研究方向为统计信号处理,数据融合,和机器学习。尹峰于2016年6月加入香港中文大学(深圳)和深圳市大数据研究院。


张天健2018年本科毕业于西安交通大学应用物理系,同年加入香港中文大学(深圳)理工学院和深圳市大数据研究院联合培养项目攻读博士学位。张天健的主要研究兴趣包括可解释机器学习,因果推断及其应用。


 

复杂科学最新论文


集智斑图顶刊论文速递栏目上线以来,持续收录来自Nature、Science等顶刊的最新论文,追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能,每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅:



推荐阅读



点击“阅读原文”,追踪复杂科学顶刊论文