拳打 GPT-4-Turbo、脚踢 Mistral-7B，苹果首次公布自研模型细节

WWDC 首日已经结束，今天凌晨苹果发布的“Apple Intelligence”引起的反响相当激烈：有人质疑跨 App 交互导致的隐私数据问题，还有人觉得这次会的“料”不算很多，而马斯克看到 OpenAI 和苹果官宣合作之后，更是恨不得直接开着星舰撞向旧金山。

“我要把用苹果设备的员工逐出家门！”

目前，iOS 18 Beta 已经更新完毕，身处苹果第一线的用户可以开始体验苹果在“端侧 AI”上交出的答卷。

然而，许多人的目光放在了 GPT-4o 加持的 Siri 以及其他争议拉满的更新上面，对苹果自研的端侧大模型尚不了解；而苹果也是在下午默默地放出了一篇文章介 绍自己推出的一系列人工智能基础模型策略，其中既有参数为 3B 的 On-Device Models （端侧模型），也有 Server Foundation Models （服务器端模型）， 引起了开发者社区大量围观：

但这不看不知道，一看吓一跳：在总结和写作方面，苹果的端侧模型可以打赢 Mistral-7B ，服务器模型可以打赢 GPT-4-Turbo ？下面放出全文，探探这个 Apple Intelligence 的深浅究竟如何。

经典环节：承诺「负责任的 AI」

苹果于 2024 年全球开发者大会（WWDC）上推出了 Apple Intelligence，这是一个深度融合至 iOS 18、iPadOS 18 与 macOS Sequoia 的个人智能系统。

Apple Intelligence 集结了一系列专为用户日常需求定制、并能即刻适应当前活动的高性能生成式模型。这些构成 Apple Intelligence 的基础模型，针对文本编辑与完善、通知管理与摘要、与亲友聊天时 生成 趣味图片，以及跨应用程序交互简化的操作体验进行了细致调优。

接下来的概览将详述这两款模型 —— 一款约含 30 亿参数、 直接部署在设备上的语言模型 ，以及一款与 Private Cloud Compute 整合、运行于 Apple 自研芯片服务器的 大型服务器端语言模型 —— 是如何被构建并适应高效、精确且负责任地执行特定任务的。

这两大基础模型隶属于 Apple 打造的、旨在赋能用户与开发者的生成式模型全家桶，其中还涵盖了助力 Xcode 实现智能化的 编程模型 ，以及在信息应用等场景中辅助用户视觉表达的 扩散模型 。期盼未来能分享更多有关这一广泛模型体系的详情。

此外，苹果制定了一套负责任 AI 准则，指导内部如何开发 AI 工具及其支撑模型：

• 赋予用户智能工具 ：在确保负责任的前提下，识别能够通过 AI 解决特定用户需求的领域。苹果尊重用户选择这些工具实现目标的方式。

• 代表用户群体 ：苹果 致力于打造深入个人的产品，真实反映全球用户的多样性；他们将 持续努力，避免在 AI 工具和模型中延续刻板印象及系统性偏见。

• 谨慎设计 ： 从设计、模型训练、功能开发到质量评估，每一步都采取预防措施，识别 AI 工具可能被误用或导致潜在伤害的方式。 苹果将借助用户反馈，不断主动改进 AI 工具。

• 守护隐私 ： 利用强大的设备端处理能力与 Private Cloud Compute 等开创性基础设施，保护用户隐私。 在训练基础模型时，苹果承诺不使用用户的私人数据或交互信息。

这些原则贯穿于 Apple Intelligence 的架构之中，连接特色功能与专门模型，监控输入与输出，确保每一项功能都能负责任地运作。

下文其余部分将阐述诸如：如何开发高效、快速且节能的模型；苹果的训练方法；适配器如何针对具体用户需求进行微调；以及苹果如何评估模型性能，确保其既有助益又避免非预期危害。

揭秘苹果训练模型全过程！

预训练阶段（Pre-Training）

苹果基础模型依托于 Apple 的开源项目 AXLearn ，这是 2023 年面世的先进训练框架，建立在 JAX 与 XLA 基础上，它提供了跨 TPUs 及各类云端、本地 GPU 的高效、可扩展模型训练能力。苹果综合运用数据并行、张量并行、序列并行及全分片数据并行（FSDP）技术，从数据规模、模型复杂度到序列长度等多角度扩大训练规模。

训练数据选取方面，苹果既有针对性地引入提升特性的授权资料，也整合由网页爬虫 AppleBot 搜集的公共信息，同时， 网站主有权选择不参与 Apple Intelligence 训练计划 。保护隐私方面，苹果严格避免使用用户个人数据及交互记录，实施过滤机制排除互联网上的社保号、信用卡号等敏感信息，并剔除粗俗内容及低质材料，以保障训练集的质量。此外，苹果还执行数据精炼、去重及基于 模型的优质文档甄别工作。

后训练阶段（Post-Training）

数据质量被视为模型效能的关键，因此苹果的训练流程融合了人工标注数据与合成数据，辅以严格的资料治理与筛选过程。在后训练环节，苹果创新性地提出了两项算法：一是教师团队辅助的拒绝采样微调法；二是结合镜像下降策略优化与单例优势评估的基于人类反馈的强化学习（RLHF）。这两项算法极大提升了模型遵循指令的能力。

优化措施

确保生成模型高性能的同时，苹果通过一系列革新策略，优化了其在终端与私有云环境下的运行速度与效率。这些优化涵盖了首 token 推理及连续 token 推理的各个方面。

不论是设备端还是服务器端模型，苹果都采用了分组查询注意力机制，并通过共享输入输出词嵌入表减小内存占用和推理开销，这些表在映射时不产生冗余。设备端模型 配置了 49K 词汇量，而服务器端则使用了包含更多语言与技术词汇的 100K 词汇量。

设备端推理上，苹果运用了低比特量化技术，既满足了内存、能耗和性能需求，又通过 引入 LoRA 适配器框架 ，采用 2 比特与 4 比特混合 配置方案（平均每位权值 3.5 比特），保持了模型精度不变。

苹果还利用交互式模型延迟与功耗分析工具 Talaria ，精确调控各项操作的量化级别。另外，激活量化与嵌入量化亦被采纳，且设计了针对神经引擎的高效 KV 缓存更新方案。

经过上述优化，在 iPhone 15 Pro 上，苹果实现了约 0.6 毫秒 的首次 token 延迟，以及每秒 30 tokens 的生成速度。这还是在未采用 token 预测技术之前，后者将进一步加速 token 生成。

模型适应性调整

基础模型通过微调融入用户日常应用场景，具备了按需实时自我定制的能力。苹果借助适配器——即可插拔于预训练模型各层级的小型神经网络组件——对特定任务进行微调，调整范围覆盖了 Transformer 架构解码层的注意力矩阵、注意力投射矩阵及点对点前馈网络的全连接层。

仅对适配器层进行微调，确保了基础模型的核心知识结构不变，同时适配器层灵活适应任务需求。

适配器参数以 16 位形式存储，对于约 30 亿参数的设备端模型，一个 rank 16 的适配器参数集占用几十 MB 空间。适配器模型支持动态加载、内存缓存及切换，使基础模型能随任务需求实时调整自身，高效管理内存资源，确保系统响应敏捷。

为加速适配器训练，苹果还搭建了高效基础设施，便于在基础模型或训练数据更新时快速迭代、测试及部署适配器。适配器参数初值设定基于优化章节提及的精度恢复适配器方案。

性能评估环节：以人为本

苹果致力于打造能让用户跨设备沟通、工作、自我表达并高效完成任务的生成模型。在衡量模型性能时，测试团队重 视 人类的反馈 ，下面的所有图表也都标注着“人类评审员”的字样 —— 因为这能紧密关联到实际产品体验。整套评估工作涵盖了特有功能适配器及核心模型的效能。

PK 项目 1：摘要总结

鉴于邮件和通知摘要的需求虽然细微但极其关键，苹果对压缩后的基础模型应用了精度恢复 LoRA 适配器进行微调，以贴合具体需求。训练素材基于大型服务器模型产出的合成摘要，并经由严格的筛选机制，仅保留最优质的部分。

为了验证特定场景下的摘要质量，苹果选取了 750 份精心挑选的样本，每一种应用场景均包含在内。这组评估资料特意包含了产品特性在实际应用中可能遇到的各种复杂输入情况，既有单一文档也有复合文档，内容类型和长度各异。确保贴近真实应用场景对评估来说至关重要，结果显示，采用适配器的模型生成的摘要优于同类模型。

为了开发「负责任的 AI」，苹果还识别并分析了摘要功能内在的风险，比如某些情况下摘要可能会不当简化信息。 幸运的是，摘要适配器在超过 99% 的对抗性示例中未加剧敏感内容的问题，随后测试团队 持续进行对抗性测试，以探索未知风险点，并据此指导后续优化。

除了功能特性的专项测试，苹果也检验了设备内置模型和云端模型的通用能力。 采用广泛的真实世界情境作为测试样本，这些情境包罗万象，从简单的创意思维到复杂的数学问题解答，再到代码编写和文本安全检测。

苹果将自家模型与开源界（如Phi-3、Gemma、Mistral、DBRX）及业界同量级的商用模型（GPT-3.5-Turbo、GPT-4-Turbo）进行了对比。 结果显示，多数情况下，苹果模型更受人类评审员的青睐。

尤为值得一提的是，即使参数量仅为约 30 亿的设备端模型，在多项基准测试中也能超越 Phi-3-mini、Mistral-7B 和 Gemma-7B 等大模型。 而云端模型的表现更是优于 DBRX-Instruct、Mixtral-8x22B 及 GPT-3.5-Turbo，同时保持着极高的效率。

PK 项目 3：风险敏感

测试团队还利用一套多样化的对抗性提示来检测模型在处理有害信息、敏感话题及事实准确度方面的表现。