专栏名称: 学术头条
致力于科学传播和学术分享，关注计算机科学、认知科学、人工智能科学、神经科学、脑科学等学科领域。我们从跨学科的角度，围绕“认知智能”向科学界和大众介绍相关领域的前沿话题和深度解读。
目录
相关文章推荐
北京晚报  ·  补时遭绝杀！遗憾……但要看到希望 ·  昨天  
北京晚报  ·  补时遭绝杀！遗憾……但要看到希望 ·  昨天  
青岛新闻网  ·  U20国青被绝杀 ·  昨天  
青岛新闻网  ·  U20国青被绝杀 ·  昨天  
大皖新闻  ·  改制后首个赛季，欧冠16强对阵：皇马vs马竞 ... ·  2 天前  
大皖新闻  ·  改制后首个赛季，欧冠16强对阵：皇马vs马竞 ... ·  2 天前  
江南都市报  ·  网红“退钱哥”加盟中冠球队，透露待遇：没谈薪 ... ·  3 天前  
江南都市报  ·  网红“退钱哥”加盟中冠球队，透露待遇：没谈薪 ... ·  3 天前  
大河报  ·  著名球迷“退钱哥”加盟中冠新疆球队？本人回应：属实 ·  3 天前  
大河报  ·  著名球迷“退钱哥”加盟中冠新疆球队？本人回应：属实 ·  3 天前  
51好读  ›  专栏  ›  学术头条

吴恩达团队新作：多模态多样本上下文学习，无需微调快速适应新任务

学术头条  · 公众号  ·  · 2024-06-19 23:06

正文

内容来自：机器之心

本研究评估了先进多模态基础模型在 10 个数据集上的多样本上下文学习，揭示了持续的性能提升。批量查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明： 利用大量演示示例可以快速适应新任务和新领域，而无需传统的微调 。


  • 论文地址：https://arxiv.org/abs/2405.09798
  • 代码地址：https://github.com/stanfordmlgroup/ManyICL

背景介绍

在近期的多模态基础模型（Multimodal Foundation Model）研究中，上下文学习（In-Context Learning, ICL）已被证明是提高模型性能的有效方法之一。

然而，受限于基础模型的上下文长度，尤其是对于需要大量视觉 token 来表示图片的多模态基础模型，已有的相关研究只局限于在上下文中提供少量样本。

令人激动的是，最新的技术进步大大增加了模型的上下文长度，这为探索使用更多示例进行上下文学习提供了可能性。

基于此，斯坦福吴恩达团队的最新研究—— ManyICL，主要评估了目前最先进的多模态基础模型在从少样本 (少于 100) 到多样本（最高至 2000）上下文学习中的表现 。通过对多个领域和任务的数据集进行测试，团队验证了多样本上下文学习在提高模型性能方面的显著效果，并探讨了批量查询对性能和成本及延迟的影响。

Many-shot ICL与零样本、少样本ICL的比较。

方法概览

本研究选择了三种先进的多模态基础模型： GPT-4o、GPT4 (V)-Turbo 和 Gemini 1.5 Pro 。出于 GPT-4o 优越的表现，研究团队在正文中着重讨论 GPT-4o 和 Gemini 1.5 Pro， GPT4 (V)-Turbo 的相关内容请于附录中查看。

数据集方面，研究团队在 10 个跨越不同领域（包括自然影像、医学影像、遥感影像和分子影像等）和任务（包括多分类、多标签分类和细粒度分类）的数据集上进行了广泛的实验。

基准数据集汇总。

为了测试增加示例数量对模型性能的影响，研究团队逐步增加了上下文中提供的示例数量，最高达到近 2000 个示例。同时，考虑到多样本学习的高成本和高延迟，研究团队还探索了批量处理查询的影响。在这里，批量查询指的是在单次 API 调用中处理多个查询。

实验结果

多样本上下文学习性能评估

总体表现 ：包含近 2000 个示例的多样本上下文学习在所有数据集上均优于少样本学习。随着示例数量的增加，Gemini 1.5 Pro 模型的性能呈现出持续的对数线性提升，而 GPT-4o 的表现则较不稳定。


数据效率 ：研究测量了模型的上下文学习数据效率，即模型从示例中学习的速度。结果表明，Gemini 1.5 Pro 在绝大部分数据集上显示出比 GPT-4o 更高的上下文学习数据效率，意味着它能够更有效地从示例中学习。



批量查询的影响

总体表现 ：在选择最优示例集大小下的零样本和多样本情境中，将多个查询合并为一次请求，不会降低性能。值得注意的是，在零样本场景中，单个查询在许多数据集上表现较差。相比之下，批量查询甚至可以提高性能。



零样本场景下的性能提升 ：对于某些数据集（如 UCMerced），批量查询在零样本场景下显著提高了性能。研究团队分析认为，这主要归因于领域校准 (domain calibration)、类别校准 (class calibration) 以及自我学习 (self-ICL)。








请到「今天看啥」查看全文


推荐文章
北京晚报  ·  补时遭绝杀！遗憾……但要看到希望
昨天
北京晚报  ·  补时遭绝杀！遗憾……但要看到希望
昨天
青岛新闻网  ·  U20国青被绝杀
昨天
青岛新闻网  ·  U20国青被绝杀
昨天
大皖新闻  ·  改制后首个赛季，欧冠16强对阵：皇马vs马竞、大巴黎vs利物浦……
2 天前
大皖新闻  ·  改制后首个赛季，欧冠16强对阵：皇马vs马竞、大巴黎vs利物浦……
2 天前
江南都市报  ·  网红“退钱哥”加盟中冠球队，透露待遇：没谈薪水，本身是玩票性质
3 天前
江南都市报  ·  网红“退钱哥”加盟中冠球队，透露待遇：没谈薪水，本身是玩票性质
3 天前
大河报  ·  著名球迷“退钱哥”加盟中冠新疆球队？本人回应：属实
3 天前
大河报  ·  著名球迷“退钱哥”加盟中冠新疆球队？本人回应：属实
3 天前
山西有料  ·  【新规】这个关于手机的好消息，山西低头族都赶紧来看看！
8 年前
读懂财经  ·  新三板协议转让信息汇总（2月7日）
8 年前
军情战评  ·  2017年，中国正在进入下一个“暴利时代”，很多人居然都不知道
7 年前
法律读库  ·  继承纠纷 | 2016年度北京法院大数据报告
7 年前
杭州日报  ·  杭州一男子灌醉兄弟后，竟推倒了兄弟的老婆！危急关头...
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!