专栏名称: 将门创投

将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。

Talk预告｜加州大学圣塔克鲁兹分校王泽宇：大规模视觉对抗训练

将门创投 · 公众号 · 科技创业 · 2024-12-10 08:22

正文

本期为 TechBeat人工智能社区 第 647 期线上Talk。

北京时间 12 月11日 (周三)20:00， 加州大学圣塔克鲁兹分校博士生 王泽宇 的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “ 大规模视觉对抗训练 ” ，届时他将分享如何在互联网级别的图像-文本对数据上进行对抗训练，并通过引入一种高效的二阶段训练策略，使其计算成本可控。

Talk·信息

▼

主题：大规模视觉对抗训练

嘉宾：加州大学圣塔克鲁兹分校 · 博士生 - 王泽宇

时间：北京时间 12 月11日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

长按识别二维码，一键预约TALK！

Talk·介绍

▼

Scaling Law和Foundation Model正推动整个机器学习社区发生巨大变化。然而，对抗训练领域却相对滞后。现有工作仍然大量集中在ResNet-50 等小模型和 CIFAR-10 等低分辨率的小数据集上。

本次分享将探讨如何弥合这一差距。我们首次探索了如何在互联网级别的图像-文本对数据上进行对抗训练，并通过引入一种高效的二阶段训练策略，使其计算成本可控。我们的模型在此前的标准视觉鲁棒性测试基准RobustBench上取得了SOTA结果。

进一步研究表明，这一方法还可以拓展到CLIP和LLaVA等大视觉-语言模型上，相比于原始的CLIP和LLaVA模型，能以较小的性能损失，极大地提升模型在零样本识别和视觉问答等场景对对抗攻击的鲁棒性。

Talk大纲

1. 背景与动机，介绍当前视觉对抗训练和鲁棒性的进展与挑战。

2. 大规模视觉对抗训练：从1M ImageNet 有标注图像数据到1B DataComp 互联网图像-文本对

3. 从纯视觉模型到视觉语言模型：Delta-CLIP和Delta-LLaVA模型

4. 技术总结

Talk·预习资料

▼

论文链接：

https://arxiv.org/abs/2305.07017

项目主页：

https://github.com/UCSC-VLAA/CLIPA

论文链接：

https://arxiv.org/abs/2401.04727

项目主页：

https://github.com/UCSC-VLAA/AdvXL

Talk·提问交流

▼

在Talk界面下的 【交流区】 参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

王泽宇

加州大学圣塔克鲁兹分校 · 博士生

王泽宇是加州大学圣塔克鲁兹分校计算机系在读博士生，导师为Cihang Xie教授。他的研究兴趣主要在大视觉-语言模型的应用及其安全性。他曾在CVPR/ICCV/NeuRIPS/ICLR/ICML等会议上发表多篇论文。

个人主页:

https://www.techbeat.net/grzytrkj?id=42920

长按识别二维码，一键预约TALK！

请到「今天看啥」查看全文

推荐文章

IPO早知道 · 李彦宏：创新的本质是成本下降与生产力提升，百度将持续投入AI基础设施

8 小时前

AIGC开放社区 · AI帮外贸商家接到2000万美金大单后，阿里国际站接入DeepSeek等先进模型

昨天

AIGC开放社区 · AI帮外贸商家接到2000万美金大单后，阿里国际站接入DeepSeek等先进模型

昨天

IPO早知道 · 禾赛与比亚迪加深合作，十余款搭载禾赛激光雷达的车型将于2025年量产交付

昨天

香港商报 · 存活率超过97%！港大研发药用口服砒霜治疗白血病

2 天前

香港商报 · 存活率超过97%！港大研发药用口服砒霜治疗白血病

2 天前

科技新知 · 小鹏有了“雷军”味儿

2 天前

科技新知 · 小鹏有了“雷军”味儿

2 天前

正和岛 · 100块起家如今身价742亿！最牛投资家的秘诀竟是“拖延”

8 年前

互联网分析沙龙 · 假期必备 | 史上最值得收藏的电影清单（附电影下载资源）

8 年前

知著 · 【按语】白马反抽无量诱多补缺冲关见好就收

7 年前

蚂蚁集团 · 蚂蚁金服新园区Z空间正式启用！狗子记者团发回一线报道

7 年前

正午故事 · 三样宝物和一个密闭空间 | 正午·玩物

7 年前