Geekpwn(极棒)——全球首个关注智能生活的安全极客大会,目前已成功举办3届,2017 Geekpwn嘉年华将于 10 月 24 日和 11 月 13 日分别在上海和硅谷举行。
量子位将作为合作媒体参与其中,并为大家争取到现场观众价值1999赠票5张,参与形式见文末。
Geekpwn
一些研究已经证实,大多数机器学习算法很容易受到干扰而做出错误判断,而这些不完善就可能成为黑客利用的漏洞。
2014年,还在加拿大蒙特利尔大学攻读博士的Ian Goodfellow构想出“生成对抗网络”(GANs)——生成逼真的模型“愚弄”人工智能。在Ian Goodfellow的试验中,小狗图像被机器识别成鸵鸟,不同的物体都能被识别成飞机,甚至连下图中的高斯噪声也被识别为一架飞机。
他们将加过噪点的样本称为“对抗性样本”,对抗性样本的实际应用场景包括欺骗恶意软件检测器网络、欺骗通过远程托管的API(MetaMind、亚马逊、谷歌)训练的真实分类器等。
如果仅仅用一张计算机生成的图片传给机器进行识别,这便剔除了外部环境中众多的不可抗干扰。于是,他们采用了白盒攻击模型(即在攻击者已经获得机器学习使用算法和参数的情况下进行攻击)。结果表明87%的对抗性图像在外接环境中仍能成功欺骗机器,因此对抗样本在真实环境下仍然有效。
此外,有研究表明对抗样本针对强化学习(Reinforcement Learning)同样有作用。在深度学习取得突破性进展的情况下,随着AlphaGo的成功,强化学习也得到了越来越多的关注。但是伯克利大学、OpenAI、宾大以及内达华大学等研究者发现强化学习智能体也能被对抗性样本操控。
作为首个探索人工智能与专业安全的平台,GeekPwn(极棒)安全极客大赛率先关注到人工智能可能暴露出的诸多风险,在 2016 年的 GeekPwn 美国硅谷站上,生成对抗网络 (GANs) 之父 Ian Goodfellow 就展示了「对抗性图像」在现实物理世界欺骗机器学习的效果。
△ 「GANs」之父lan Goodfellow与谷歌的Alexey Kurakin在极棒硅谷站分享图像对抗欺骗
2017年,GeekPwn更是设立了高达500万总奖金池全球招募黑客,在保留智能软硬件攻破赛的基础上,联合Next Idea 开设专项“人工智能安全挑战赛”,同时,还增设场景赛“AI仿声验声攻防赛”,以此鼓励全球顶尖AI黑客或AI相关领域的安全研究团队积极参与,从而帮助人工智能健康成长。
AI 对抗 AI 大战一触即发:「AI 仿声验声攻防赛」
2016 年,谷歌的 DeepMind 实验室曾发布一项利用卷积神经网络进行语音合成模型,让模拟生成的语音与人类声音之间的差异降低了 50% 以上。利用深度神经网络(DNN)合身的音频模型,也能够让声纹识别系统无法区分。
GeekPwn组委会以40万总奖金增设“AI 仿声验声攻防赛”,冠军团队奖金 20 万元。在这场 AI 的对抗中:
你和你的队伍需要自行开发一款应用或者系统,能够从目标人物的声音中学习语音特征并合成语音音频,攻击若干语音验证系统,突破或欺骗目标系统本身的用户身份鉴别功能。
简而言之,以 AI 技术合成的音频攻击使用语音鉴别进行用户登录的软件系统、带语音鉴别功能的 AI 产品。
详细比赛规则如下:
场景
参赛队伍从目标人物的声音中学习语音特征并合成音频,攻击若干语音验证系统,突破或欺骗目标系统本身的用户身份鉴别功能。被攻击目标为使用语音鉴别进行用户登录的软件系统、带语音鉴别功能的智能产品等。
规则
参赛队伍自行开发一款应用或系统,能够从人物的声音中学习语音特征并合成语音音频。
主办方在赛前 2 周向参赛队伍提供目标人物的若干音频文件,参赛队伍依此进行调试。
参赛队伍在比赛现场,对主办方指定的多款声纹识别软件及智能设备进行攻击。
主办方指定若干段汉语文字、数字,参赛队伍合成汉语语音并尝试通过被攻击目标的验证。
同一次验证可尝试 2 次,通过一次即可。2 次都不成功则记为失败。
综合被攻击的多个目标的通过概率,辅以评委打分,以不同权重得出参赛队总分。
根据各参赛队总分进行排名。
报名截止日期:2017/10/10
比赛时间:2017年10月24日
比赛地点:上海喜马拉雅大观舞台 GeekPwn 2017 嘉年华现场
奖项设置
第一名:10 万 - 20 万
第二名:5 万 - 10 万
第三名:2 万 - 5 万
优胜奖(多名):5000 元
*优秀技术团队有机会获得技术孵化投资
奖金幅度根据参赛队伍现场通过验证情况浮动
全球 AI 安全极客的英雄帖:「人工智能安全挑战赛」
除了AI 仿声验声攻防赛,2017 年 GeekPwn“人工智能安全挑战赛”还有 PWN AI 与 AI PWN 的不命题部分。PWN AI 是将 AI 作为挑战对象,人工智能算法会因选手影响而做出错误判断。简单来说就是利用 AI 中存在的错误和不完善,「黑掉」它。而 AI PWN 则是将 AI 作为工具,选手利用 AI 技术实现对于指定目标的攻击,引导其犯错。简单来说就是让 AI 成为你攻击的助手。
详细比赛规则如下:
PWN AI(单项最高奖金80万)
目标范围
对于已发布的 AI 服务、产品、库、框架(主要指 Tensorflow、TorchNet、Caffe 等流行框架),采取手段使得在学习或者实际使用中,发生意外情况导致系统停止工作或系统被欺骗、误导,做出违反常规或者错误的判断、决策。方向包括但不限于图像识别、语音识别、自然语言处理、自动驾驶、恶意软件识别等。
参考实例
突破人脸识别手机解锁,以任意人脸解锁手机。
在自动驾驶系统中找到安全问题,使其不能够正确识别障碍物的存在。
在 AI 开源框架中找到问题,使得部署的 AI 系统在得到某种输入的情况下停止响应
AI PWN(单项最高奖金80万)
场景
选手以 AI(包括图像,语音,自然语言,自动驾驶等各个领域的各种人工智能方法)作为主要或者辅助手段,突破原有系统设定的限制,导致目标系统的功能、机制失效或者信息泄露。
参考实例
用人工智能的方法进行语音合成,生成目标模拟对象的语音并以高的概率通过语音身份验证系统。
用人工智能的方法进行动作的判别,从视频中识别出门禁密码输入并达到较高的正确识别概率。
用人工智能的方法识别复杂的机器验证码,正确识别率较高,使得目标验证码机制失去作用。
报名参赛过程中有任何疑问,请发送邮件至:[email protected]
报名参赛和更多比赛信息详见 2017.GEEKPWN.ORG(点击阅读原文)
现场观众招募
2017极棒嘉年华同样欢迎热衷极客精神的专业人士以及爱好者参与现场互动,一同见证选手挑战的时刻。现场除了紧张的比赛环节,还有更多精彩纷呈的极棒与卡巴斯基联合举行的 I-CTF 挑战赛、极棒上海站互动区等,应接不暇的极客元素让你仿佛置身于“极客梦工厂”。
在留言区告诉我们“你对AI安全的看法”,截止25日早10:00,点赞前5名可获得价值1999元上海极棒嘉年华通票一张(通票适用于极棒上海站内场比赛、极棒与卡巴斯基联合举行 I-CTF 挑战赛、上海站互动区)
观众报名也请点击“阅读原文”
量子位AI社群8群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot3入群;
此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。
进群请加小助手微信号qbitbot3,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。