【大模型周报第96期】苹果推出300亿参数多模态大模型MM1.5

本期总览

【人工智能治理和行业政策】关键词： 安全策略、能力阈值、可信AI

10月16日， Anthropic公司宣布更新其“责任扩展政策（RSP）” ，引入能力阈值，作为AI模型能力提升时，额外安全保障的明确标志。这些阈值涵盖诸如生物武器制造和自主AI研究等高风险领域。政策中还设立“责任扩展官”这一角色，专门负责监督合规性并确保相应的安全措施到位。

【前沿技术进展】关键词：文生视频、智能体、机器人、API、多模态

10月15日， Adobe推出文生视频AI模型FireFly Video Model， 标志着Adobe在生成式AI领域的重要进展。Adobe声称Firefly Video Model完全使用授权内容进行训练，有望规避其他生成式AI工具所面临的伦理和版权问题。

10月11日 OpenAI推出Swarm框架旨在解决开发者在多智能体系统编排中面临的复杂挑战。 Swarm框架的核心在于智能体（agents）和交接（handoffs）两个基础抽象（primitive abstractions），通过简化智能体的协调、执行和测试过程，让开发者能够更高效地管理、互动多个AI智能体。

10月10日， 字节跳动最新推出第二代机器人大模型GR-2（Generative Robot2.0）， 其亮点在于创新构建“机器人婴儿期”学习阶段，模仿人类成长学习复杂任务，具备卓越的泛化能力和多任务通用性，在超过100个任务中实现了平均成功率97.7%。

近日 Anthropic发布新的Message Batches API， 主要优势在于增强吞吐量，提供更高的速率上限；数据可扩展，可处理大规模任务。新API支持每次发送多达10,000个查询的批次，每个批次能在24小时内处理完成，且成本比标准API调用低50%。

10月13日， 苹果推出300亿参数多模态AI大模型MM1.5， 可识别UI界面推理自然语言。同时推出专门用于视频理解的MM1.5-Video模型和专门处理移动设备用户界面（UI）理解的 的MM1.5-UI模型，其能够处理各种视觉引用与定位任务、总结屏幕上的功能，或者通过与用户的对话进行交互。

10月16日， 零一万物发布新模型Yi-Lightning。 在国际权威盲测榜单LMSYS上，Yi-Lightning超越了OpenAI的GPT-4o和Anthropic的Claude 3.5 Sonnet，排名世界第六，中国第一，实现历史性突破。

【产品应用创新】关键词：AI电脑、智能体、翻译大模型、AI搜索

10月16日， 联想与Meta合作基于Llama大模型推出面向PC的个人AI智能体AI Now， 将PC转变为更具实用性和个性化的智能设备。

10月16日， 阿里 国际最新研发的Marco翻译大模型， 目前已在阿里国际AI官网Aidge上发布，支持中、英、日、韩、西、法等15种全球主流语种，面向全球用户开放，已实现大规模商用。

10月11日， 月之暗面发布具备AI自主搜索能力的Kimi探索版， 其搜索量是普通版的10倍，一次搜索可精读500个页面。该功能模拟人类的推理思考过程并执行深度搜索，通过自主策略规划、自动化大规模信息检索、对搜索结果的反思补充等多个步骤，用户可以获得更准确和全面的答案。

10月10日 vivo正式发布自研的全新蓝心大模型矩阵， 包括语言大模型、端侧大模型、语音大模型、图像大模型、多模态大模型。官方称vivo全新的蓝心端侧大模型3B，在对话写作、摘要总结、信息抽取等能力上，可以越级比肩行业7B-9B模型。蓝心语音大模型、图像大模型和多模态大模型，在多家专业榜单上位列第一。

【产业市场竞合】关键词：合作、AI服务器、AI芯片、核电

10月15日， 微软与韩国电信公司KT建立合作伙伴关系， 承诺在未来五年内投入2.4万亿韩元（约125.28亿元人民币）推动韩国的人工智能、云服务和基础设施发展。双方计划在2025年上半年推出基于微软多语言GPT-4o的定制化AI模型，这些模型将用于KT的内部和面向消费者的应用，例如客户服务聊天机器人，也可用于为各个行业的B2B客户构建特定于行业的AI解决方案。

10月11日， AMD召开Advancing AI发布会， 发布三款核心硬件产品：旗舰AI芯片Instinct MI325X GPU、被AMD称为“面向云计算、企业级和AI的全球最好CPU”的第五代EPYC服务器、最新的第三代DPU Pensando系列。

10月14日， 谷歌与Kairos Power公司签署一份从多个小型模块化反应堆购买电力的协议， 以满足发展人工智能的用电需求。谷歌计划购买六到七个小型模块化反应堆的电力，总计500兆瓦。

趋势洞察

1.AI服务器市场快速扩张，定制化逐步成为主流，0DM直销模式占比44%

一是AI服务器市场快速扩张，产业加速技术创新和生态合作。 据市场研究机构TrendForce预测，AI服务器2024年全年出货量上调至167万台，年增长率达41.5%。AI服务器产品加速创新，如 联想与英伟达联合发布全新液冷AI服务器、英特尔和AMD在x86上达成了史上首个合作、AMD三款核心硬件新品发力AI服务器市场 等。 二是定制化需求增加，ODM Direct模式（原厂直接销售）逐渐成为主流。 该模式主要由ODM（原始设计制造商）直接向下游云端服务供应商（CSP）供货，而不经过传统的品牌厂商。随着企业对AI应用的深入，AI服务器的定制化需求仍将不断增加，如微软、亚马逊、谷歌和Meta等大型科技公司持续投资和定制自己的AI服务器，以更好地适应其独特的业务需求。2024年Q2 AI服务器ODM直销模式占比高达44%。

2.大模型在手机端落地向操作系统OS层面渗透

随着智能手机进入AI时代，厂商除了在硬件层面推出更高性能的AI芯片外，在软件层面走向操作系统与AI的深度融合。近期， 各大厂商纷纷发布最新操作系统，通过与大模型深度融合，不仅带来功能上的创新，更是在用户交互方式的变革，带来全新的用户体验。 如： vivo发布新一代操作系统OriginOS 5 ，升级的蓝心小V支持完全的语音唤醒和连续深度对话，还增加了更多的专属场景智能体；OPPO全新发布ColorOS 15，其小布助手“一键问屏”功能，可通过语音对话和圈搜等方式自然地理解用户意图，并代替用户执行各种操作；据悉， 荣耀MagicOS 9.0 也将于近期发布，借助MagicOS 9.0搭载的荣耀AI智能体，用户仅需一句话的简单语音指令，手机即可自主完成各项操作。 新一代AI手机的操作系统融入AI大模型，有望成为缩短手机换机周期和加速市场复苏的关键驱动力。 如，搭载Origin OS 5的vivo X200系列全渠道销售金额突破20亿。

3. AI用能需求激增，领先企业纷纷布局未来核能

随着人工智能和云计算的发展，数据中心的电力需求大幅增加。根据高盛的数据， 到2030年，数据中心的电力需求预计将增长160% 。相对于太阳能和风能，核能作为电力来源更为稳定，且几乎不产生温室气体排放。因此， 领先企业为满足未来AI用电，纷纷提前布局核电建设： 1)近日 谷歌与 Kairos Power 公司签署一份从多个小型模块化反应堆购买电力的协议， 以满足发展人工智能的用电需求。2) 亚马逊目前已和3家公司（Energy Northwest、X-energy、 Dominion Energy） 展开合作，支持小型模块化核反应堆的建设。3) 微软与Constellation Energy公司达成协议， 预计将在2028年重启现已关停的三哩岛核电厂的能源为其人工智能服务器供电，此外 微软也与Helion Energy达成协议， 将使用来自核聚变反应堆的电力，预计该反应堆也将在 2028 年某个时候上线。除以上合作之外，OpenAI创始人Sam Altman个人向核聚变初创公司Helion Energy投资了3.75亿美元，是他个人迄今为止最大的一笔投资。

每周一场景：监测预警

1. 场景介绍

监测预警是指利用生成式人工智能大模型对各种环境、安全、健康等因素进行实时或前瞻性的监测和数据分析，对可能发生的危险、异常或不利情况及时发出预警信息，以便采取预防措施，减少灾害损失。监测预警广泛应用在城市治理各个领域，具体包括城市公共安全监控如重点车辆运输风险；城市生命线工程如燃气管线泄漏爆炸风险；生产安全如桥梁运行安全风险；自然灾害如城市洪涝风险、地震地质灾害风险、极端天气；医疗健康如传染病等各类场景的监测预警等。

目前监测预警存在“隐患发现难、人工探测难、预警效率低、响应处置慢、管理条块乱”等问题。

2. 大模型赋能

实时数据监测： 大模型能够快速处理大量的实时数据，对城市中的各种动态变化进行实时监测和分析。例如，实时监测城市的用电量、用水量等资源消耗情况，及时发现异常波动，为能源管理部门提供预警。对交通流量进行实时分析，预测可能出现的拥堵路段，提前采取交通疏导措施。

数据整合与分析： 大模型可以整合来自不同部门、不同数据源的城市数据，包括传感器数据（如空气质量监测、水位监测等）、视频监控数据、社交媒体数据、政务数据等，通过对这些多源、异构数据的融合分析，能够全面了解城市的运行状态。例如，结合气象数据和交通流量数据，可以提前预测恶劣天气对交通的影响，为交通管理部门提供预警信息。

风险预测与预警： 大模型利用其计算能力和深度学习算法，揭示数据背后的规律与趋势，对城市运行中的各种情况进行智能预测，为城市管理者提供科学的决策依据。如灾害预警方面，大模型可以结合历史数据和实时监测数据，通过分析地震活动趋势、气象条件等因素，提前发出地震等灾害的预警信息；对气象数据进行分析，预测台风的路径和强度，提前通知沿海地区做好防台风准备。

智能决策支持： 大模型可以根据分析模型对各种方案进行模拟和评估，帮助决策者选择最优的治理策略，为城市治理决策提供科学依据和优化建议。例如，在城市规划中，大模型可以分析不同规划方案对交通、环境、经济等方面的影响，为决策者提供决策支持。公共安全方面，大模型可以分析社会治安数据、视频监控图像等，通过分析特定区域的人员流动情况和犯罪历史数据，预测该区域发生盗窃、抢劫等犯罪的可能性，预测可能发生的犯罪事件或安全事故，提前部署警力进行防范。

3. 产品&解决方案

目前，许多基于人工智能大模型的监测预警产品和方案已经应用落地，例如：

（1）气象领域：盘古气象大模型

盘古气象大模型的核心是一个三维深度神经网络模型，能够捕获天气数据中的复杂模式，并通过层次化时域聚合策略，减少了中期天气预报所需的迭代次数，有效减少了累积误差。盘古气象大模型是首个精度超过传统数值预报方法的AI预测模型，同时预测速度也有大幅提升。原来预测一个台风未来10天的路径，需要在3000台服务器的高性能计算机集群上花费5小时进行仿真。现在基于预训练的盘古气象大模型，通过AI推理的方式，研究者只需单台服务器上单卡配置，10秒内就可以获得更精确的预测结果。盘古气象大模型也可用于极端天气预警。在2023年汛期，盘古气象大模型成功预测了玛娃、泰利、杜苏芮、苏拉等影响我国的强台风路径。

（2）环境监测领域：环境人工智能大模型

环境人工智能大模型（AIGC）基于天润智力云计算、人工智能与物联网的能力，实现生态环境综合决策的科学化、生态环境监管的精准化、生态环境公共服务的便民化，它能够发现卫星图像背后环境密码，将气温、风力、气压、湿度、降水、太阳辐射等信息进行交叉分析，可辅助政府、公益机构实现对生态环境的综合决策与智能监管。环境人工智能大模型（AIGC）实时洞察危险品(如固废、高爆油品等)运输过程，为环境风险源转移保驾护航，对异常线路、危险性驾驶行为、地址围栏的近场感知进行预警与识别，并提供及时报警，并天气预测预警，提供事前预防的机制，有效降低转移与运输过程的风险，同时智能应急环境突发事件。

（3）城市安全领域：城市安全监测预警解决方案

华为城市安全监测预警解决方案是基于盘古大模型等核心技术打造的城市安全行业大模型，通过视频、光、物联等多种感知手段，7*24小时监测城市危化、燃气管道、消防、烟花爆竹等场景不安全因素；结合AI、大数据等新ICT技术，及时发现安全隐患，规避风险。城市安全监测预警解决方案构建了安全感知、安全问策及安全问效三大助手，对城市安全进行风险监测预警、快速到达处置、跟踪监督问效，使能城市安全由“管”到“防”。

4. 应用实例：

（1）青岛城市安全风险综合监测预警平台

青岛市安全风险综合监测预警平台以海纳云城市应急安全大模型为基础，综合运用物联网、大数据、人工智能、CIM+数字孪生等数字技术，定制44种风险预警分析模型的城市安全算法仓，搭建城市安全“空天地”立体化感知监测网，建设城市安全风险综合监测预警中心，实现实现对风险隐患动态监测、智能分析和高效处置。

城市安全风险综合监测预警平台汇聚了大数据局、自然资源和规划局、交通运输局、住房城乡建设局等9个部门176项数据类目；接入了城管、住建、交通运输等行业主管部门及燃气、供水公司等权属单位23个已建相关系统；实现了城市生命线气流、水流、车流、人流等“多流监测”。平台覆盖燃气、热力、供水、排水、综合管廊、桥梁、地铁和隧道、消防、电梯9大生命线工程的场景。

2023年4月，青岛城市安全风险综合监测预警平台整体上线试运行，目前已通过正式验收通过并投入使用。目前平台已有效监测并处置燃气泄漏、供水管网压力异常等各类预警6000余起，实现了消患于成灾之前，处置在萌芽和初期。

（2）华为“智霁”大模型：

“智霁”大模型是华为云、深圳市气象局联合发布的首个人工智能区域预报模型。“智霁”区域模型以华为云盘古气象大模型为基础，融合区域高质量气象数据集，可快速得到未来5天深圳及周边地区，包含气温、降雨、风速等气象要素的预报，空间分辨率从25公里提升至3公里。同时，深圳气象局与哈工大（深圳）大数据研究中心联合研发的人工智能短临预报系统，被用于提升公里级、分钟级的精准气象预报。短临预报现在由一小时能够延长到三小时，并且它的预报能力能达到原来传统一小时的水平。

自今年2月试运行以来，区域预报模型已在多次冷空气过程的气温预报中为预报员提供参考，提供了一种创新的冷空气预报服务风险提醒工具。