当前位置:主页 > 科技 >

ICML 2017最佳论文公布!机器学习的可解释性成热

发布时间:2017-08-08 13:30 来源: 网络整理

  雷锋网消息,8月6日,机器学习领域最具影响力的学术会议之一的ICML 2017在澳大利亚悉尼正式开幕。当天,除了举行多场Tutorial外,ICML还在官网正式公布了本次会议的最佳论文评选结果。在前线雷锋网(公众号:雷锋网)AI科技评论的两位编辑(张驰和刘芳平)第一时间为大家带来获奖论文的报道。

  本届ICML最佳论文的主题是,利用影响函数理解黑箱预测。机器学习中的一个关键问题就是,系统为何做出某种预测?

  我们不仅需要表现优异的模型,更需要可解释的模型。理解了模型如何做出决策,也就能进一步改善它。更重要的是,要让机器学习应用于现实中的重要问题,比如医疗诊断、做出决策、灾难响应,我们就需要一个能被人类理解和信任的系统。只有这样它才能有更多的应用,毕竟谁都不希望机器给出诊断结果和治疗意见,但不给出具体原因。

  雷锋网了解到,可解释性在机器学习中正变得越来越重要。巧合的是,在今天上午的一场tutorial中,Google Brain的研究科学家Been Kim也谈到了机器学习的可解释性。她还指出,除了应用的角度,让机器学习可解释还能促进它更公平地被使用。她认为,机器学习这样强大的工具不能仅被少数人理解和使用,而是应该让更多的人受益,成为人人可用的工具。

  机器学习的可解释性已经有了不少的研究,但多数着重于解释模型如何做预测,而这次的最佳论文提出的问题是,如何解释模型是从哪来的?这一研究通过模型的学习算法来追溯其预测,并上溯到了训练数据中。或许正是这种进一步追溯根源的新的视角,才让它获得了最佳论文奖。

  值得一提的是,最佳论文的两位作者都是华人。

  Pang Wei Koh是来自新加坡的斯坦福大学在读博士生。他此前在斯坦福获得了计算机科学学士与硕士学位,并在斯坦福的AI实验室与吴恩达一同工作过。在2012年,他加入了吴恩达联合创立的在线教育平台Coursera,成为其第三位员工。在2016年他开始在斯坦福攻读博士学位。

  Percy Liang是斯坦福大学的助理教授,此前曾在MIT和UCB学习及做研究。他的研究大方向是机器学习与NLP,目前的研究重点是可信任的代理,这些代理能与人类进行有效沟通,并通过互动逐步改善。

  ICML 2017最佳论文奖最佳:Understanding Black-box Predictions via Influence Functions

  作者:Pang Wei Koh, Percy Liang

  简介:如何解释黑箱模型的预测呢?这篇论文利用影响函数(稳健统计学中的经典技术),通过学习算法跟踪模型的预测并追溯到训练数据,从而确定对给定预测影响最大训练点。为了将影响函数扩展到现代机器学习中,论文中设计了一个简单,高效的实现,仅需梯度oracle访问和Hessian矢量积。而且即使在非凸和非微分模型上,影响函数的近似值算法仍然可以提供有价值的信息。在线性模型和卷积神经网络中,论文中也证明,影响函数可用于理解模型行为,调试模型,检测数据集错误,甚至是生成视觉上无法区分的训练集攻击。

  论文下载:https://arxiv.org/pdf/1703.04730.pdf

  荣誉奖(Honorable Mentions论文:Lost Relatives of the Gumbel Trick

  作者:Matej Balog, Nilesh Tripuraneni, Zoubin Ghahramani, ADRian Weller

  简介:Gumbel是从离散概率分布中抽样或估计其规格化配分函数的方法,它会以特定方式重复地对分布进行随机扰动,每次解决最可能的配置。论文中得出了一系列相关方法,其中包括Gumbel,这些新方法在几种情况下具有优异的属性,同时仅需最小的额外计算成本。特别的,要让Gumbel在离散图模型中产生计算优势,Gumbel扰动通常会被低秩扰动(low-rank perturbation)取代。而论文中的一种新方法,可以为Gibbs分布生成一系列连续抽样器。论文最后还展示了,Gumbel的简单的解析形式如何得到额外的理论成果。

  论文下载:https://arxiv.org/pdf/1706.04161.pdf

  论文:Modular Multitask Reinforcement Learning with Policy Sketches

  作者:Jacob Andreas, Dan Klein, Sergey Levine

  简介:论文描述了一个以策略草图(policy sketches)为指导的多任务深度增加学习框架。草图使用指定的子任务序列注释任务,提供关于任务之间的高级结构关系的信息,但没有如何实现的信息。为了从草图中学习,论文中提出了一个将每个子任务与模块化子策略相关联的模型,并通过在共享子策略之间绑定参数,共同最大限度地提高对完整任务特定策略的回报。论文中在三种环境中评估了方法的有效性,包括离散和连续控制环境,以及仅在完成一些高级子目标之后才能获得稀少奖励的情况。实验表明,用论文中的方法学习草图指导的策略,比现有的学习特定任务策略或共享策略的技术表现更好。

  论文下载:https://arxiv.org/pdf/1611.01796

  论文:A Unified Maximum Likelihood APProach for Estimating Symmetric Properties of Discrete Distributions

  作者:Jayadev Acharya, Hirakendu Das, Alon Orlitsky, Ananda Suresh

  论文下载:

  ICML 2017“时间考验”奖(Test of Time Award)最佳:Combining Online and Offline Knowledge in UCT

  作者:Sylvain Gelly and David Silver

  简介:UCT算法使用基于样本的搜索在线学习值函数。 TD(λ)算法可以离线学习一个价值函数,用于策略分配。我们考虑了在UCT算法中组合离线和在线值函数的三种方法。首先,在Monte-Carlo模拟中,离线值函数被用作默认策略。其次,UCT值函数与快速在线估计的行动值(action value)相结合。第三,离线值函数用作UCT搜索树中的先验知识。我们在9 x 9 Go GnuGo 3.7.10中评估这些算法。第一种算法比随机模拟策略优于UCT,但令人惊讶的是,比更弱的手工模拟策略更差。第二种算法完全胜过UCT。第三种算法胜过拥有人工先验知识的UCT。我们将这些算法结合在MoGo中,它是世界上最强大的9 x 9 Go程序。每种技术都显著提高了MoGo的发挥力度。

  论文下载:

  荣誉奖论文:Pegasos: Primal estimated sub-gradient solver for SVM

  作者:Shai Shalev-Shwartz, Yoram Singer, Nathan Srebro

  简介:我们描述和分析了一个简单有效的随机子梯度下降算法,用于解决支持向量机(SVM)提出的优化问题。我们证明获得精度εε求解所需的迭代次数为?(1 /ε)O?(1 /ε),其中每次迭代在单个训练样本上运行。相比之下,先前对SVM的随机梯度下降法的分析需要Ω(1 /ε2)Ω(1 /ε2)迭代。如先前设计的SVM求解器,迭代次数也以1 /λ线性缩放,其中λ是SVM的正则化参数。对于线性内核,我们的方法的总运行时间是?(d /(λε))O?(d /(λε)),其中d是每个示例中非零特征数量的约束。由于运行时间不直接取决于训练集的大小,因此得到的算法特别适合于从大型数据集学习。我们的方法也扩展到非线性内核,同时仅基于原始目标函数,尽管在这种情况下,运行时确实依赖于训练集大小。我们的算法特别适用于大文本分类问题,在这些问题中,我们展示了超过以前的SVM学习方法的数量级加速。

  论文下载:

  论文:A Bound on the Label Complexity of Agnostic Active Learning)

  作者:Steve Hanneke

  简介:我们研究了不可知PAC模型中基于池的主动学习的标签复杂度。 具体来说,我们得出了Balcan,Beygelzimer和Langford提出的A2算法所做的标签请求数量的一般界限(Balcan et al. , 2006)。 这代表了不可知PAC模型中标签复杂度的第一个非常重要的通用上限。

  论文下载:

  雷锋网原创文章,未经授权禁止转载。详情见转载须知。

http://www.china100.com.cn/zumtu/