【大模型周报第81期】英伟达CEO：下一波AI浪潮将使重工业实现自动化

本期导读

6月20日，电商公布数据显示今年“6·18”AI含量明显提升，特别是在电商营销方式和物流大模型应用等方面。

6月20日，英伟达计划为其即将推出的GB200旗舰AI芯片设计服务器机架，旨在利用其强势地位，从AMD等服务器商手中开拓新收入来源，增加芯片客户黏性。

6月20日，加州大学论文表明，多达54%的测试者将GPT-4误认为真人，这是首次有AI大模型通过图灵测试，如果参与测试的是GPT-4o，该比例可能还会更高。

6月21日，Canalys报告显示，中国大陆是全球前三大智能手机市场（中国、印度和美国）中AI兴趣倾向最强的市场，43%的消费者具有高度及以上兴趣。

6月21日，鸿蒙NEXT在盘古大模型5.0加持下，首次将AI能力融入系统。

6月21日，OpenAI首席技术官指出：预计几年内“博士级智能”AI就会出现。

6月23日，Meta与苹果公司将其AI模型整合到Apple Intelligence进行了讨论。

6月25日，运营商在北京建成的首个大规模训推一体智算中心正式投入使用，该中心部署近4000张AI加速卡，AI芯片国产化率33%，智能算力规模超1000P。

6月26日，月之暗面、智谱AI等六家大模型宣布接入钉钉生态，总数超过百家。

6月26日，伽马数据发布《中国游戏产业新质生产力发展报告》。报告显示，近六成头部游戏企业已构建AI生产管线、赋能虚拟内容生产或智能营销。

6月26日，Omdia《人工智能软件市场预测》显示，生成式人工智能（GenAI）2024年收入将增长124%，到2028年将达到580亿美元。

6月27日，英伟达CEO表示，下一波AI浪潮将使50万亿美元重工业实现自动化。

®大模型公司对标：系统梳理了全球AI领域龙头企业-苹果公司的全面情况。

资讯精读

1.【政策】OpenAI将终止对中国提供API服务

6月24日，陆续有API开发者表示，OpenAI发布了“警告邮件”，称将采取额外措施，终止对中国提供API服务。《广州日报》6月25日报道，OpenAI最新推送的邮件信息显示，自7月9日起，OpenAI将采取额外措施，阻止来自不在OpenAI支持的国家和地区列表中的API流量，其中包括中国。值得注意的是，OpenAI在6月13日宣布，退役的美国陆军将军保罗·中曾根（Paul M.Nakasone）将加入公司董事会。OpenAI官网文章写道：“中曾根先生的见解将有助于OpenAI更好地了解如何利用AI来加强网络安全，快速发现和应对网络安全威胁。”公开资料显示，中曾根是网络安全、技术进步和全球网络防御领域的顶尖专家，他对美国网络司令部的成立发挥了关键作用。业内猜测，OpenAI终止向中国等国家提供API服务，或与这名新董事会成员有关。

天翼智库： OpenAI从今年7月份开始向中国用户中止开放API接口，背后主要原因源于2023年10月美国总统拜登签署的第14105号行政命令——限制投资和保护美国AI发展。美国政府为了确保美国在全球AI领域的领导地位，同时出于有针对性的国家安全考虑，2024年持续推动相关措施落地。包括美国财政部发布禁止或限制在中国半导体和微电子、量子计算和AI等领域进行投资的规则草案，向OpenAI等头部AI企业派驻董事会成员以落实其合规义务等。该事件一方面可能会给国内头部大模型商带来发展机遇（如智谱AI推出的“搬家计划”），另一方面也会鼓励我国大模型头部企业积极缩短与美国企业的技术差距。

2.【技术】苹果视觉模型4M-21，随意切换几何图、元数据等21种模态

6月25日，来自洛桑联邦理工学院（EPFL）和苹果的研究者联合开发了一个ANY-TO-ANY（任意到任意）模态的单一视觉模型4M-21，该模型通过在数十种模态上进行训练来提高模型能力。这是第一次单个视觉模型可以以ANY-TO-ANY模态的方式解决数十个不同的任务，不需要任何的多任务学习也不会牺牲模型性能。模型通过对不同模态执行特定离散tokenization（分词化），实现统一处理，并在多数据集上联合训练，增强性能和适应性。目前4M-21视觉模型能处理模态从原先的7种增加到21种，可以接受任意组合的模态作为输入，并预测任意其他模态，具备跨模态检索、可控生成和强大的开箱即用等能力。

天翼智库： 多模态已成为大模型技术重点发展方向之一，4M-21模型训练中使用的离散tokenization方法值得重点关注。4M-21训练的关键步骤是对各种模态执行离散tokenization，即针对不同模态的数据如图像、文本、几何数据等，使用各自特定的标记器进行离散化处理，使得各种模态的输入对模型来说均是标准化的数字标记，从而实现对多样化模态数据的统一处理。今年5月Meta发布的混合模态基座模型Chameleon，也通过对图像进行离散tokenization，来实现文本、图像和代码数据的混合模态训练。建议运营商通过自研或生态合作，加大对离散tokenization方法、端到端训练多模态大模型的技术探索，持续关注相关前沿研究进展。

3.【技术】小米推出大模型提效新框架，训推最高提速34%-52%

6月22日，小米大模型团队提出新型大模型框架SUBLLM（子采样-升采样-旁路大型语言模型，Subsampling-Upsampling-Bypass Large Language Model），与Llama等模型相比，SUBLLM在训练和推理速度以及降低内存方面都有了显著提升。SUBLLM通过智能地选择和处理数据，使得模型在训练和推理时更加高效，其中子采样模块负责剔除不必要的信息，上采样负责模块恢复数据的完整性，而绕过模块则加快了学习过程。在大模型训练中，SUBLLM的速度提高了26%，每个GPU的内存减少了10GB。在推理中，它的速度提高了37%，每个GPU的内存减少了1GB。训练和推理速度分别最高可以提高至34%和52%。

天翼智库： 新型大模型框架SUBLLM是借鉴人脑信息处理机制而设计的，人类大脑可使用同一个脑部区域切换两种思考方式，根据丹尼尔·卡尼曼的理论，方式1负责处理日常重复性任务，通过直觉判断方式完成；方式2负责处理复杂任务，通过集中思考逻辑推理方式完成。SUBLLM框架借鉴该信息处理模式对大模型的算力进行合理分配，引入子采样模块暂时去除不关键的token，仅对重要的token使用全部算力进行推理运算。建议运营商加快基于注意力机制的动态计算大模型和类脑神经形态系统研发，推动我国规模算力能耗系数逐步降低。

4.【资本】OpenAI宣布收购云原生数据库公司Rockset

6月21日，OpenAI宣布收购了领先实时分析数据库公司Rockset，交易金额不详。OpenAI强调将基于Rockset提供的世界一流的数据索引和查询功能，在其产品中整合相关技术，使得客户和开发人员能够充分利用他们的数据，将其数据转化为可决策应用的信息。PrivCo数据显示，截至去年8月29日，Rockset公司共获得的融资总额在1亿美金左右，投后估值1亿-5亿美元。Rockset是成立于2016年的一家美国云原生OLAP数据库软件公司，创始团队均是在Facebook、雅虎、谷歌、甲骨文和VMware等公司积累了大规模数据管理和分布式系统经验的软件工程人员，团队总数接近100人。

天翼智库： Rockset是一家专注于提供实时分析数据库服务的公司，其技术储备特别适用于分析和处理海量半结构化数据，其中主要关键技术包括低时延多维索引（Converged Index）、向量搜索(vector search)和实时数据同步技术等，适用于SaaS平台分析、实时欺诈检测、物联网数据分析以及AI驱动的应用如搜索引擎、语音客服等应用场景，能有效助力大数据服务商和大模型商。预计OpenAI在收购Rockset之后，一方面会协助微软Bing搜索对抗谷歌搜索引擎，另一方面也会大幅增强其在行业大模型领域等AI应用竞争力。建议运营商继续加强半结构化数据实时分析和处理能力建设，提升运营商大模型在垂直领域的应用效果。

5.【观点】英伟达CEO：下一波AI浪潮将使重工业实现自动化

6月27日，美国芯片企业英伟达公司举办了股东大会。公司CEO黄仁勋表示，他非常看好3月份发布的Blackwell平台前景，“Blackwell架构平台很可能成为英伟达史上、以及整个电脑史上最成功的产品。”黄仁勋还表示，公司希望为其AI开辟新的市场，例如工业机器人，并计划与每一家电脑制造商和云提供商合作，“下一波AI浪潮将使价值50万亿美元的重工业实现自动化。”

天翼智库： Blackwell架构平台是英伟达在2024年GTC大会上发布的新一代GPU架构，旨在推动生成式AI和加速计算的发展，适用于大型云服务商和AI龙头企业。该架构采用MCM（多芯片模块）设计，集成了2080亿个晶体管，通过低精度推理优化、高效并行处理和高互联带宽等能力能够提升接近5倍的算力水平。英伟达公司在GPU的强势技术领先地位为其赢得在50万亿美元产值的重工业领域AI解决方案市场奠定底气。建议运营商重点研发医疗保健、汽车和数字制造等垂直行业的AI大模型应用。

每周快讯

1.【技术】华为云盘古大模型 5.0 正式发布：升级多模态能力

6月21日消息，在华为HDC 2024开发者大会上，华为宣布盘古大模型5.0正式发布，在全系列、多模态、强思维三个方面实现升级。盘古大模型 5.0 包含不同参数规格的模型，以适配不同的业务场景；盘古大模型 5.0 能够更好更精准地理解物理世界，包括雷达、红外、遥感等更多模态；盘古大模型 5.0 将思维链技术与策略搜索技术深度结合，极大提升了数学能力、复杂任务规划能力。同日，华为还宣布与乐聚公司合作开发了盘古具身智能大模型。

2.【技术】全球首款 Transformer 专用AI芯片Sohu登场

6月26日，Etched公司宣布完成1.2亿美元A轮融资，将用于开发和销售全球首款Transformer专用集成电路（ASIC）芯片Sohu。Sohu芯片最大的亮点在于直接把Transformer架构蚀刻到芯片中，Sohu采用台积电的4纳米工艺制造，推理性能大大优于GPU和其他通用人工智能芯片，同时能耗更低。在Llama 70B吞吐量中，Sohu每秒可处理超过50万个tokens，比英伟达H100快20倍。

3.【应用】超越GPT-4V，MIT、哈佛开发人类病理学多模态AI助手

6月20日，哈佛大学和 MIT 的研究团队提出了一种用于人类病理学的视觉语言通才AI助手：PathChat。PathChat通过融合视觉和语言输入，处理具有高复杂性的病理学诊断和教育问题。研究人员将 PathChat 与几种多模态视觉语言 AI 助手和 GPT-4V 进行了比较。PathChat 在来自不同组织来源和疾病模型的病例的多项选择诊断问题上取得了最佳表现。此外，通过开放式问题和人类专家评估，PathChat 总体上对与病理学相关的各种查询给出了更准确、更受病理学家青睐的答案。

4.【生态】钉钉将对所有AI大模型厂商开放，首批 7 家接入

6月26日，在MAKE 2024钉钉生态大会上，钉钉总裁宣布，钉钉将对所有大模型厂商开放，构建“国内最开放 AI 生态”。其中，MiniMax、月之暗面、智谱 AI、猎户星空、零一万物和百川智能，六家千亿级大模型厂商已宣布接入钉钉，成为继通义千问后首批接入钉钉的大模型。未来，用户可在钉钉上直接使用通义等七家大模型产品。同时，这些大模型厂商将联合钉钉一起，共同探索 AI 在行业内的应用。

5.【观点】OpenAI首席技术官：几年内“博士级智能”的AI会出现

OpenAI首席技术官米拉·穆拉蒂（Mira Murati）预测了人工智能能力的快速发展，预计在未来“几年”里，用于特定任务的“博士级智能”就会出现。在达特茅斯工程学院主持的一场对话中，穆拉蒂讨论了ChatGPT和DALL-E背后的人工智能，以及正在进行的安全和道德考虑。当被问及ChatGPT的智能进展时，穆拉蒂表示：“这些系统在特定任务中已经达到了人类的水平，像GPT-3这样的模型表现出与蹒跚学步的孩子相似的智力。像GPT-4这样的系统所展示的智力堪比聪明的高中生，在接下来的几年里，我们将着眼于特定任务的博士级智能。”