研究表明，微软的Magma在多模态AI代理任务上表现出色，尤其是在UI导航和机器人操作方面。它似乎在零样本智能和高效微调方面具有强大的跨领域鲁棒性。另外，在图像和视频相关任务上也表现优于其他大型多模态模型。
有趣的是，Magma使用未标记的视频数据进行预训练，这增强了其空间-时间智能，使其能够处理复杂的视觉-空间任务，如机器人手臂的运动跟踪。
有趣的是，Magma使用未标记的视频数据进行预训练，这增强了其空间-时间智能，使其能够处理复杂的视觉-空间任务，如机器人手臂的运动跟踪。
微软发布的 Magma 非常强大！一个多模态代理 AI 模型，可以根据输入的文本和图像生成文本。该模型专为研究目的而设计，旨在共享知识并加速多模态 AI 的研究，尤其是多模态代理 AI。
该模型的主要创新在于引入了两项技术创新：Set-of-Mark和Trace-of-Mark，并利用大量未标记的视频数据来学习时空基础和规划。
图1 - 模型详细信息
图2 - 用户界面导航：查询西雅图的天气，打开飞行模式
图3 - 用户界面导航：向Bob分享和发送消息
图4 - 操控机器人选择hot dog
图5 - 操控机器人把蘑菇放进锅里
图6 - 操控机器人将布料从左向右推
图7/8 - 控制游戏机器人手机绿色积木
亮点：
1. 数字世界和物理世界： Magma 是第一个多模式 AI 代理的基础模型，旨在处理虚拟和现实环境中的复杂交互！
2. 多功能模型： Magma作为单一模型不仅具有通用的图像和视频理解能力，而且还能生成目标驱动的视觉计划和动作，使其能够灵活地完成不同的代理任务！
3. 最先进的性能： Magma 在各种多模式任务上实现了最先进的性能，包括 UI 导航、机器人操作以及通用图像和视频理解，特别是空间理解和推理！
该模型的主要创新在于引入了两项技术创新：Set-of-Mark和Trace-of-Mark，并利用大量未标记的视频数据来学习时空基础和规划。
图1 - 模型详细信息
图2 - 用户界面导航：查询西雅图的天气，打开飞行模式
图3 - 用户界面导航：向Bob分享和发送消息
图4 - 操控机器人选择hot dog
图5 - 操控机器人把蘑菇放进锅里
图6 - 操控机器人将布料从左向右推
图7/8 - 控制游戏机器人手机绿色积木
亮点：
1. 数字世界和物理世界： Magma 是第一个多模式 AI 代理的基础模型，旨在处理虚拟和现实环境中的复杂交互！
2. 多功能模型： Magma作为单一模型不仅具有通用的图像和视频理解能力，而且还能生成目标驱动的视觉计划和动作，使其能够灵活地完成不同的代理任务！
3. 最先进的性能： Magma 在各种多模式任务上实现了最先进的性能，包括 UI 导航、机器人操作以及通用图像和视频理解，特别是空间理解和推理！
