专栏名称: 脑极体
你的困惑,来自于无路贴近未知。我们在技术、思想、传播的异界,贩来极限脑量下的TMT。
目录
相关文章推荐
高校人才网V  ·  101个职位虚位以待!北京工业大学2025年 ... ·  昨天  
高校人才网V  ·  北京第二外国语学院2025年公开招聘公告 ·  2 天前  
51好读  ›  专栏  ›  脑极体

读不懂NeurIPS 2018的艰深论文?我们已经为你划好了重点

脑极体  · 公众号  ·  · 2018-12-05 21:30

正文

AI的火爆,让今天在加拿大蒙特利尔开幕的第32届神经信息处理系统大会(NeurIPS 2018),就成为了各国研究组织和企业刷存在感的香饽饽。


有多火呢?


据说,今年的参会人数有9000人,大会门票在11分钟内被一抢而空。官方自己都吐槽,只比碧昂丝演唱会卖的慢一点。

之所以一票难求,还是因为到场的学术界、产业界大佬太多。谷歌、亚马逊、Facebook、微软是不会缺席的,华为、腾讯、阿里、百度等为代表的中国队也斩获颇丰。值得一提的是,今年还冒出了很多中美欧之外的新面孔,印度、XXX也都有机构获得了非常不错的成绩。


当然,学术会议核心的还是论文,NeurIPS 2018 今年也是收了个盆满钵满,一共收到 4856 篇投稿,创下了历年来的最高记录,最终被录取的论文有 1011 篇,其中有44% 的论文作者放出了代码,42% 将公布数据,无疑让整场大会显得干货十足。


情况介绍的差不多了,接下来该上“硬货”了。但学术名词和论文推理读起来都有点反人类。因此,我们从自己的观察中,为大家梳理了一下NeurIPS 2018可能是最重要的三大趋势,帮助大家了解一下,学术界都发现了哪些新东西,又将给明年的AI带来哪些新机会。


下面请大家系好安全带,收起小桌板,准备好瓜子花生肥宅快乐水,我们开始吧。


趋势一:

深度学习依然是“最强王者”


今年NeurIPS 2018评审的 4856篇论文中,深度学习、强化学习、分布式学习等等领域依然是大热门。


以获得最佳论文奖的四篇论文为例,来自加拿大多伦多大学Vector Institute,通过一种新的深度神经网络模型,采取自适应来构建归一性,无需对对数据进行分类或排序,就可以使用黑盒ODE求解器进行端到端训练。


第二篇最佳论文的第一作者为加拿大麦克马斯特大学Hassan Ashtiani,则通过新的相关分布压缩来进行分布式学习,解决了表征学习分布类的样本复杂性。


第三篇则是来自华为诺亚方舟实验室担任一作的研究,在两种情况下研究了分布式优化的最优收敛速度,并提出了第一个最优分散算法:多步原始对偶(MSPD)。


第四篇的作者全部来自Google AI,提出了新的策略一致性概念,结合多项数据集,解决大规模强化学习的妄想偏见问题。


除了获奖的四篇,收录的1011篇论文中还有不少是深度学习方向的文章(大约25%左右),还能在“王座”的位置上待一阵子。


不过,即便是深度学习也并不是在炒冷饭。显然,学术界也在积极反思深度学习存在的一些效率、黑箱性等问题,很多研究都是围绕着对其进行优化展开的。


在NeurIPS 2018的论文集中搜索“optimization”,得到了61个结果。由此可见,通过底层优化算法,用更好的模型让AI以更小的数据代价,更精准地解决问题,正在成为集体做功的方向。



趋势二:一超多强,

难以跨越的谷歌和美帝?


有机构对NeurIPS2018的论文集进行了数据分析,发现Google(包括Deepmind)仍然是毋庸置疑的AI“霸主”,以 137 篇论文成功斩获第一名,甚至将美国同行远远地甩在了身后。


此外,谷歌不但开始向顶会反向输送人才(今年大会的主席Samy Bengio就是来自谷歌的科学家 ),还开始艺高人胆大地开始探讨很多极端领域命题。


比如通过Mesh-TensorFlow实现超级计算机的深度学习。利用一种分布式深度神经网络(DNN),对一些由于内存限制而无法训练的超大模型,进行高效分批处理。


谷歌利用512个TPU训练出了多达50亿个参数的变压器模型。这种基于大型数据集群的高效并行模型算法,足以让其在处理航空、军事、智慧城市等极端算力需求时,依然能保持稳定高效实时处理。


另外,“美国势力”还有不少强队,其中MIT(68篇)与斯坦福(57篇)领衔学术界,Microsoft(46篇)和Facebook(13 篇)领衔工业界。


Facebook在机器视觉领域提出的不少新方式,像是“双注意力网络”、分块坐标搜索算法、能够对抗无聊的新推荐系统、SING音频合成器等等,目测都将在来年给大众早已“审美疲劳”的社交娱乐带来不少新意。



总而言之,经过几年的激烈近身肉搏,人工智能技术竞争格局的基本面目前已经没有争议了,那就是谷歌的霸主地位几乎难以撼动,不过其他战队也出手不凡找到了各自的差异化突破路径。


毕竟,谷歌还有不少纯烧钱的技术,学术会议上再多的成功,未必真能在现实中凝结出商业的果实。这么想想,吃到了酸葡萄的大家心里想必好受了点。


趋势三:中国身影与新晋黑马


在这样的竞争格局下,自然有人不愿让“美国势力”专美。这次NeurIPS 2018,中国队伍可谓是集体为国争光了。


先说四篇最佳论文(Best paper awards),华人科学家陈天琦,以及华为的诺亚方舟实验室,就分别以第一作者的身份摘得殊荣,占据了半壁江山。







请到「今天看啥」查看全文