超过80名亚马逊科学家和工程师将参加今年的国际机器学习会议(ICML)在瑞典斯德哥尔摩举行,会上发表了11篇由亚马逊人合著的论文。
“ICML是机器学习研究的主要渠道之一,”亚马逊供应链优化技术项目机器学习主管尼尔·劳伦斯说。“这是一个很好的机会,可以了解其他研究人员在做什么,并分享我们自己的一些研究成果。”在ICML上,Lawrence团队的成员将提交一篇题为“结构化可变自动编码优化”的论文,该论文描述了一种优化的机器学习方法,或在某些过程中为变量选择值,以最大化特定的结果。
这篇论文的第一作者是牛津大学(University of Oxford)的研究生陆晓宇(Xiaoyu Lu),她去年夏天在亚马逊实习,参与了这个项目,今年1月回来做了一些后续工作。与她同行的还有劳伦斯和劳伦斯团队中的两位机器学习科学家,哈维尔·冈萨雷斯·埃尔南德斯和戴振文。“如果没有小雨的出色工作,我们不可能做到这一点,”埃尔南德斯说。
劳伦斯解释说:“有一种叫做贝叶斯优化的技术,它试图了解你可以控制的输入和输出之间的关系。”“哈维尔喜欢以酿造世界上最好的啤酒为例。”劳伦斯说,在那里,输入将是啤酒酿造过程的所有可控参数,如温度、曝气和酵母浓度,输出将是啤酒质量的某种衡量标准。
劳伦斯说:“当你可以改变的事情很少时,贝叶斯优化效果很好。”“如果你用一千种不同的变化来酿造啤酒,这些东西就不会很好地发挥作用。这篇论文的聪明之处在于将这些变化映射到低维空间,然后我们在低维空间中进行优化。”
劳伦斯解释说,为了进行这种映射,他的团队使用了一种被称为变分自编码器的神经网络。自编码器的特殊之处在于它的输出要与输入完全相同。但是在输入和输出之间,网络将输入压缩成一个更紧凑的表示形式。训练是学习如何产生一种表示,这种表示保留了关于输入的足够信息,使得网络的输出将是一个相当忠实的重建。
Alexa AI组织的机器学习经理Alborz Geramifard也参加了ICML。“ICML是世界上最顶级的会议之一,对于所有对机器学习感兴趣的人来说,这是目前非常热门的话题,”杰拉米法德说。“它吸引了一批非常、非常优秀的人才。”
Geramifard补充道:“我喜欢ICML的原因之一是,总会有一些很好的论坛专注于非常具体的主题。“例如,我对对话和机器学习非常感兴趣,有研讨会、具体的论文跟踪和其他机会来讨论这个话题,你可以坐在一个房间里,与该领域最先进的贡献者一起讨论想法,并谈论他们的经验。”
与亚马逊合作的ICML论文:
标题:结构化变分自编码优化
作者:陆晓宇(牛津大学)·Javier González(亚马逊)·戴振文(亚马逊)·Neil Lawrence(亚马逊)
标题:基于时间标签传播的数据流半监督学习
作者:Tal Wagner(麻省理工学院)·Sudipto Guha(亚马逊)·Shiva Kasiviswanathan(亚马逊)·Nina Mishra(亚马逊)
标题:在多元线性回归模型中检测非因果伪影
作者:Dominik Janzing(亚马逊研究Tübingen)·Bernhard Schölkopf(亚马逊/ MPI智能系统)
标题:利用黑盒预测器进行标签移位的检测与校正
作者:Zachary Lipton(亚马逊/卡内基梅隆大学)·Wang Yu-Xiang(亚马逊/ UCSB)·Alexander Smola(亚马逊)
标题:改进微分隐私的高斯机制:分析校准和优化去噪
作者:Borja de Balle Pigem(亚马逊研究)·王玉祥(亚马逊/ UCSB)
标题:signSGD:针对非凸问题的压缩优化
作者:Jeremy Bernstein(加州理工学院)、Yu-Xiang Wang(亚马逊/ UCSB)、Kamyar Azizzadenesheli(加州大学欧文分校/斯坦福大学)、Anima Anandkumar(亚马逊人工智能/加州理工学院)
标题:重生神经网络
作者:Tommaso Furlanello(南加州大学)·Zachary Lipton(亚马逊/卡内基梅隆大学)·Michael Tschannen(苏黎世联邦理工学院)·Laurent Itti(南加州大学)·Anima Anandkumar(亚马逊人工智能/加州理工学院)
标题:利用有效SVD参数化稳定深度神经网络的梯度
作者:张炯(德克萨斯大学奥斯汀分校)·雷琦(德克萨斯大学奥斯汀分校)·Inderjit Dhillon(德克萨斯大学奥斯汀分校/亚马逊)
标题:通过傅里叶循环单元学习长期依赖关系
作者:张炯(德克萨斯大学奥斯汀分校)·林一波(德克萨斯大学奥斯汀分校)·宋昭(德克萨斯大学奥斯汀分校)·Inderjit Dhillon(德克萨斯大学奥斯汀分校/亚马逊)
标题:面向ReLU网络鲁棒性认证的快速计算
作者:tumi - wei (Lily) Weng (MIT)·张欢(UC Davis)·陈洪戈(MIT)·宋昭(UT-Austin)·Cho-Jui Hsieh(加州大学戴维斯分校)·Luca Daniel (MIT)·Duane Boning (MIT)·Inderjit Dhillon (UT Austin & Amazon)
标题:图上迭代算法的稳态学习
作者:戴汉军(佐治亚理工学院)·Zornitsa Kozareva(谷歌)·戴博(佐治亚理工学院)·亚历克斯·斯莫拉(亚马逊)·宋乐(佐治亚理工学院)
另外,亚马逊宣布11个重点领域2018年亚马逊研究奖这是一项资助计划,提供高达8万美元的资金和2万美元的亚马逊网络服务(AWS)积分研究机器学习相关主题的学术研究人员.