【大模型周报第90期】Meta AI公司推出多模态模型架构Transfusion

资讯总览

【人工智能治理与监管政策】关键词： 标准化、伪造检测、数据治理

国内首家人工智能标准化研究机构， 北京人工智能标准化研究院揭牌成立，将围绕人工智能前沿关键技术、行业场景应用、风险防范治理等领域开展全链条标准化研究。

安全公司McAfee携手联想推出 全球首款自动深度伪造（Deepfake）检测器 Deepfake Detector，该工具使用超过20万个样本训练，利用联想AI PC内置NPU，帮助用户自动识别潜在的Deepfake诈骗以及其他AI欺诈行为。

美国加州立法机构通过了 《人工智能训练数据透明度法案》 ，该法案旨在要求人工智能公司在开发和训练模型时，对其使用的数据集进行更加透明的披露。

【前沿技术进展】关键词： AI4S、多模态模型架构

OpenAI公司的GPT-4语言模型能高精度模拟简单的氨基酸和蛋白质结构。 开创了将这种技术应用于结构生物学的先例，也为未来进一步探索 AI 在其他潜在的生命科学领域的应用提供了参考。

8月24日，Meta AI公司推出多模态模型架构Transfusion， 结合语言模型在处理文本等离散数据方面的优势，以及扩散模型在生成图像等连续数据的能力，将其整合到语言模型和图像生成模统一的AI系统中。

【产品应用创新】关键词：人形机器人、虚拟人

北京具身智能机器人创新中心研发的具身智能服务机器人“天轶” 在2024世界机器人大会上展出，集成人工智能、机器学习、情感计算和机器人技术，具备理解和响应人类情感状态的能力，为人类提供情感陪伴。会上共有27款人形机器人展出，聚集前沿技术、产业动向和创新成果，涵盖服务、工业、医疗、教育等多领域。

谷歌 将大模型Gemini 1.5 Pro集成在实体机器人 中，使其具备高级认知能力，能执行57种复杂任务，如听、说、看等，显著增强机器人智能化。测试显示，该机器人在多模态指令（语言与视觉结合）下导航成功率高达85%。

微软Azure AI语音服务推出虚拟人形象，支持文本转视频。 这项新功能使开发者能够为其用户创建个性化虚拟人。服务将根据视频输出的长度计算并按秒收费。

【产业市场竞合】关键词： 市场规模、伪造检测、大小企业融通创新

IDC发布报告， 2023年中国大模型平台市场规模达17.65亿元人民币 。百度智能云以19.9%的市场份额获中国大模型平台市场第一，商汤科技以16%份额位居市场第二，智谱AI位居市场第三。

伪造检测企业中科睿鉴 宣布完成近亿元融资，由达晨财智独家投资，该轮融资主要用途是将业务线从ToG拓展成ToG、B和C三条产品线，实现AI鉴伪产品的规模化。

LG电子向“Alpha lntelligence Fund（AIF）”注资1000万美元 ，成为该基金的主要有限合伙人之一。AIF基金由日本软银集团早期风险投资部门设立，总规模达1.3亿美元，旨在挖掘并扶持具有创新潜力的AI与深科技初创企业。

趋势洞察

1. 深度伪造滥用风险加剧，AI伪造检测产品开启C端市场拓展

深度伪造是通过深度学习等生成合成类算法制作文本、图像、音频、视频、虚拟场景等虚假信息的技术，随着大模型的快速发展和社交媒体广泛使用，深度伪造技术应用门槛持续降低且效果更加真实化，逐步渗透到经济、政治、社会等领域，该技术不当使用引发虚假新闻传播、经济诈骗、隐私侵犯等一系列风险挑战。如，2023年我国AI诈骗案件的涉案金额达1670万元 ¹ 。鉴于此，AI伪造检测产品在保障网络信息安全方面的重要性更加凸显，随着AI伪造数据增多及应用场景扩大，检测技术也将向更广泛的用户群体普及，有望在C端迎来更加广阔的发展空间。近期， 网络安全巨头McAfee与联想携手推出全球首款自动Deepfake检测器 ，已在美国、英国、澳大利亚的部分联想AI PC用户中测试，不仅能在视频通话中实时检测AI合成风险，还能在用户使用社交媒体、邮件附件等场景下提供风险提示。国内数字内容伪造检测企业 中科睿鉴也完成近亿元融资，旨在将业务线向C端拓展， 后续面向个人用户推出PC软件、App等多种形式的检测工具。

2. 多模态模型架构持续创新，模型架构呈现通用化和精细化趋势

从 Transfusion模型架构 和SORA模型架构比较可以看出， 人工智能模型架构呈现通用化和精细化趋势 。一方面，两个模型都利用了 Transformer 架构的优势。Transformer 具有强大的序列建模能力和并行计算能力，适合处理多模态数据或复杂的视频、图像等数据类型。Transfusion 中的图像分支和点云分支都借助了 Transformer 的能力；SORA 更是将其作为核心骨干，替代了传统的架构，如在 SORA 中，将扩散模型的骨干 U-Net 卷积网络替换为 Transformer，以实现良好的可拓展性。另一方面，两者都体现了多模态数据融合精细化的理念。Transfusion 是将 2D 彩色图像和 3D 点云两种不同模态数据进行融合，以专业化地改善语义分割任务；SORA 在架构中融合了多种信息，如在视频生成过程中，除文本信息外，还融合图像或其他数据类型等，以生成更符合要求、更专业和更具真实感的视频内容。

3. 大模型助力服务机器人加速进化，情感陪伴将成重要赛道

大模型加持下，人形机器人在场景识别、人机交互、任务划分等方面能力大幅提升。在2024年世界机器人大会上，27款人形机器人集中亮相，专注于包括家务、医疗、养老、导盲等场景。除代替人类从事繁琐的重复性工作外，还将为人类提供情感陪伴方面的支持。如 北京具身智能机器人创新中心发布的具身智能服务机器人“天轶” ，可以通过观察人类表情，识别人类的情感情绪，与人类进行深层次的情感交互。由科大讯飞发布的星火极速超拟人交互技术已经在响应和打断速度、情绪感知情感共鸣、语音可控表达、人设扮演等四个方面取得重大突破，未来将赋能人形机器人在情感陪伴方面取得突破，使交互体验更加自然细腻。

每周一场景：智慧党建

1. 场景简介

《中共中央关于加强党的政治建设的意见》提出，主动适应信息时代新形势和党员队伍新变化，积极运用互联网、大数据等新兴技术，创新党组织活动内容方式，推进“智慧党建”。随着大模型技术的不断创新突破，如何利用新兴技术为传统党建活动赋能成为了必须应对的重大课题。当前传统党建在传达中央精神，促进党性教育中发挥着重要作用，但仍然存在以下痛点：

党建资料整理难： 党建资料的系统化整理、归纳、更新难，相关知识的学习更新滞后。此外，党建成果目前多通过报刊栏方式展示，更新慢、形式单一、归纳困难；

业务工作结合少： 党建工作与业务工作之间缺乏有效对接与深度融合，形成业务工作在前，党建工作在后的局面，未确立抓党建促发展，围绕发展抓党建的思想；

活动形式单一： 当前党建活动以党课培训、理论学习等形式开展，缺乏创新性，导致活动参与积极度不高，学习效率低。

2. 大模型赋能

知识问答： 基于党建知识数据库训练大模型，使大模型具备党建领域的专业知识，同时自主对党建知识进行实时更新学习，不断丰富知识储备，随时为用户提供知识问答服务。

展厅讲解： 自主学习红色景点的历史知识、展品背景等，以具身机器人的形态为用户进行知识讲解，不仅能够节省人力物力，还能够提高党建活动趣味性，回答用户关于展厅的问题。

业务赋能： 将大模型与党员工作业务主线进行结合，使党建贯穿于工作主流程，结合业务工作深入开展能力素质提升行动。

3. 产品&解决方案

智弈大模型： 通过内置丰富的党建知识库，为用户提供党建知识问答、知识图谱等功能，同时提供党建文本内容分析功能，提升党建知识学习效率。

小瑞党建机器人： 基于党建垂类大模型及党建领域的垂类数进行训练和优化，内置党课巡讲、展厅讲解、党务学习等党建相关功能。同时，小瑞通过实感技术，利用搭载的高清摄像头和红外传感器来实现微妙识别功能，一方面可以识别用户身份信息和需求，另一方面可以识别并预测四周物体的运动轨迹，推理出合理的动作及路径规划。目前已在国内众多政务大厅、商超银行、党建展馆等场景应用。

科大讯飞人工智能赋能党建： 科大讯飞利用人工智能技术积累，打造智慧党建驾驶舱、讯飞听见AI党建平台、强国医生、“学习强国”智能学习本、光明网阅读器等落地应用平台及产品，组织虚拟主播讲党史、“长征路 强国梦”、“AI学——虚拟主播报党史”等活动，推进“智慧党建”建设。

4. 应用实例： 国网河北经研院“数智经研互动大脑”

国网河北省电力有限公司经济技术研究院（以下简称国网河北经研院）自主研发“数智经研互动大脑”，利用大数据、大模型、知识图谱等技术，研发了AI智能问答、AI考评问测、多线程任务跨专业协作、学术研究成果共享、重点工作看板、文字智能辅助等十大应用场景，有效提升党建与各专业的融合度和任务协同度，实现跨层级、跨部门、跨专业的任务协作及知识共享。

据统计，目前该系统已沉淀包含著作文献、讲话报告、规章制度、规程规范、学术成果在内的160000余个知识单元，面向全院职工提供党建及专业知识智能对话服务4600余次，服务点赞率超过98%，显著提高智库分析、数据分析的工作质效；“三跨”协作任务超过260余次，党建职责任务完成效率提升25%。

注释

1.瑞莱智慧公布数据。

硕士，专注于工业互联网、大数据等领域技术及产业研究工作。