AI安全对抗赛简介
目前人工智能和机器学习技术被广泛应用在人机交互、推荐系统、安全防护等各个领域,其受攻击的可能性以及是否具备强抗打击能力备受业界关注,因此图像识别的准确性对人工智能产业至关重要。这一环节也是最容易被攻击者利用,通过对数据源的细微修改,在用户感知不到的情况下,使机器做出了错误的操作。这种方法会导致AI系统被入侵、错误命令被执行,执行后的连锁反应会造成的严重后果。
11月,飞桨巅峰赛:AI安全对抗赛正式上线。本次比赛针对图像分类任务,选手必须使用飞桨作为攻击方,对图片进行轻微扰动生成对抗样本,使已有深度学习模型识别错误。
排名靠前的选手将获得现金奖励,以及由百度飞桨颁发的奖杯、证书。报名成功并提交有效成绩团队均可获得飞桨定制移动电源1个!
特别注意:比赛要求选手必须使用飞桨参赛,允许使用其他工具箱包括机器学习+深度学习的融合模型。
飞桨(PaddlePaddle) 以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心框架、基础模型库、端到端开发套件、工具组件和服务平台于一体,2016 年正式开源,是全面开源开放、技术领先、功能完备的产业级深度学习平台。飞桨源于产业实践,始终致力于与产业深入融合。目前飞桨已广泛应用于工业、农业、服务业等,服务150 多万开发者,与合作伙伴一起帮助越来越多的行业完成 AI 能力赋能。
赛制解读
比赛分为初赛和决赛,初赛难度较低,决赛难度较高。
初赛中选手需要根据主办方指定的120张图片,生成120个对抗样本,在线提交给平台测试。平台将每个样本提交给靶模型池中的3个模型进行评测,评测将根据“赛题说明”中的评分方法进行评分。初赛截止时,得分最高的30支队伍将进入复赛阶段。
决赛中需要使用迁移学习技术,对更多的模型进行攻击,决赛的模型池中包含百度特色的AutoDL生成的模型,和人工防御加固模型,兼备趣味性与挑战性,可以使有实力的选手脱颖而出。更多赛题详情请看“赛题说明”板块。
在比赛各阶段,参赛队伍须按时、合规地提交参赛作品。
赛程赛制
大赛日程安排
参赛方式
1.参赛对象
本次竞赛面向全社会开放,不限年龄、身份、国籍,相关领域的个人、高等校、科研机构、企业单位、初创团队等人员均可报名参赛。
特别注意:大赛主办和协办单位,以及有机会接触赛题背景业务及数据的员工不得参赛; 百度公司员工参赛,可参与排名,但不得领取奖金。
2.参赛要求
(1)支持以个人或团队(线下自由组队)的形式参赛,每支参赛队伍的人数不超过3人,允许跨单位自由组队,每人只能参加一支队伍。
(2)参赛选手报名须保证所提供的个人信息真实、准确、有效。
3.比赛报名
(1)2019年10月29日至2019年12月8日,登陆AI Studio报名,参赛团队使用已有百度账号或新注册百度账号报名,在线完善相关信息,即可报名参赛。
团队形式参赛,万众期待的AI Studio比赛组队功能已于9月底正式上线,一个人搞定不如一群人相助,快给你们的团队想个酷炫的名字吧!
组队报名方法,队长确认报名参赛后,点击【复制链接邀请队员】,并将【您的好友邀请您组队参赛,详情查看:xxx】内容发送给 1名 即将加入队伍的队员,队员完善信息后可在“我的团队”中查看,此时表明队长已成功邀请 1名 队员加入战队。重复上述方法邀请更多队员加入战队,上限人数不超过3人。
组队报名注意:邀请队员仅在 比赛报名截止前 有效,邀请链接仅用于 单名队员 加入。自比赛报名截止前一天起(12月7日),队长不得转让队长身份、解散团队、移除队员,队员不得离开团队。
(2)百度大脑AI Studio是基于百度深度学习平台飞桨的一站式AI开发实训平台,提供在线编程环境、免费GPU算力、海量开源算法和开放数据,帮助开发者快速创建和部署模型。登录AI Studio查看更多内容。
(3)百度大脑AI Studio为参赛选手提供了免费GPU Tesla V100算力:
(4)竞赛技术交流社区(AI Studio人工智能竞赛)
(5)竞赛技术交流群:
4.飞桨系列巅峰赛不收取任何报名费用。
奖项设置
*特别注意:
1.以上所有提及金额均为税前金额。
2.获奖评定需选手按要求提供项目代码及材料。
其他奖项设置及激励
1.初赛结束后,在AI Studio平台使用飞桨框架编写代码并提交结果的选手,皆可获得飞桨定制移动电源。
2.成功入围决赛的选手可获得飞桨定制礼包,包括树莓派3B、飞桨官方认证徽章、手提帆布袋、订制字母笔。
3.最佳指导老师奖:top20队伍导师将获最佳指导老师奖,并颁发奖杯。有机会受邀参百度AI开发者大会、Wave Summit等线下会议活动。
评测及排行
1.竞赛平台AI Studio直接提供全量训练数据,选手需要在AI Studio上创建自己的项目并提交比赛结果,在项目中使用提交脚本将比赛结果提交;
2.评测在提交后触发,排行榜实时滚榜刷新 ,每支队伍一天内有5次提交机会;
3.排名规则具体在赛题和数据中说明,排行榜将选择选手在本阶段的最优成绩进行排名展示;
4.最终线上成绩以2020年1月8日20:00排行榜成绩与排名为准;
5.禁止私下与队伍成员之外的人员分享代码和数据,鼓励在大赛论坛面向所有选手进行公开讨论。
赛题背景
目前人工智能和机器学习技术被广泛应用在人机交互、推荐系统、安全防护等各个领域,其受攻击的可能性以及是否具备强抗打击能力备受业界关注。具体场景包括语音,图像识别,信用评估,防止欺诈,过滤恶意邮件,抵抗恶意代码攻击,网络攻击等等。攻击者也试图通过各种手段绕过,或直接对AI模型进行攻击达到对抗目的。在人机交互这一环节,随着移动设备的普及,语音、图像作为新兴的人机输入手段,其便捷和实用性被大众所欢迎。因此图像识别的准确性对人工智能产业至关重要。这一环节也是最容易被攻击者利用,通过对数据源的细微修改,在用户感知不到的情况下,使机器做出了错误的操作。这种方法会导致AI系统被入侵、错误命令被执行,执行后的连锁反应会造成的严重后果。
本次竞赛的题目和数据由百度安全部、百度大数据研究院提供,竞赛平台AI Studio由百度AI技术生态部提供。期待参赛者们能够以此为契机,学习对抗样本理论知识并提升深度学习工程实践能力。欢迎全球范围开发者积极参与,鼓励高校教师积极参与指导。
比赛任务
初赛中,选手通过对指定的图像添加扰动,使目标模型(Target Model)分类错误,例如对于一张分类为A的图片,目标模型只要判别扰动后的样本不为A,即可判定成功。同时以生成扰动量越小越优。
选手在比赛开始时具有以下资源:
1.模型类
2.数据类
Stanford Dogs数据集全集
120张用于攻击的指定数据集
选手的目标是:利用上述资源,使用深度学习方法将指定的120张图片样本生成为对抗样本,平台根据选手提供的对抗样本在后台使用上述3个Target Model进行评估,只要使Target Model分类结果与Label不一致,则判定为攻击成功。样本攻击成功数越多、扰动越小,得分越高。
选手在比赛开始时候具备以下资源:
1.模型类
飞桨PaddlePaddle编写的baseline model
主办方提供的5个使用Stanford Dogs数据集训练的Target Model 。一个是与初赛相同的ResNeXt50白盒模型(白盒),一个是人工加固的模型(灰盒),另外三个均为黑盒模型,其中包括由AutoDL技术训练的模型。
由百度安全实验室提供的对抗样本工具箱Advbox。
2.数据类
Stanford Dogs数据集全集
120张用于攻击的指定数据集以及对应的label
复赛选手的目标与初赛相同: 利用上述资源,将指定的120张图片样本生成为攻击样本,主办方根据选手提供的攻击样本在后台使用上述5个Target Model进行评估,只要使Target Model分类结果与Label不一致,则判定为攻击成功。样本攻击成功数越多、扰动越小,得分越高。
数据集
Stanford Dogs数据集包含来自世界各地的120种犬种的图像。该数据集是使用ImageNet中的图像和注释方法构建的,通常被用于细粒度图像分类的任务。细粒图像分类这是一个具有挑战性的任务,因为某些犬种在颜色和年龄不同的情况下具有接近相同的特征。
数据集及样例工程,陆续更新中......
反作弊声明
• 参与者禁止注册多账户报名,一经发现将取消成绩
• 参与者禁止在指定考核技术能力的范围外利用规则漏洞或技术漏洞等不良途径提高成绩排名,一经发现取消成绩
• 可以接触到赛题相关数据的人员,其提交作品将不计入排行榜及评奖
主办单位
百度飞桨深度学习平台
百度AI Studio一站式AI开发实训平台
百度安全部
百度大数据实验室
点击 阅读原文,查看 百度 AI 安全对抗赛更多详情