苹果的AI产品主要包含硬件层芯片,多模态大模型及应用产品。
AI硬件层:
不断升级芯片性能。
2023年推出M3、M3 Pro和M3 Max芯片,2024年5月,发布M4采用新一代10核GPU架构,支持动态缓存,支持硬件加速网格着色、光线追踪。
模型层:
发布开源多模态Ferret、MM1、OpenELM等大模型。
AI大模型Ajax:
2023年7月发布,基于Google的Jax机器学习框架构建,运行在Google Cloud 上,被认为是苹果“Apple GPT”。
开源多模态大语言模型Ferret:
2023年10月发布,结合计算机视觉和自然语言处理技术,70亿和130亿两个参数版本,能识别图像中的对象和区域,将文本转化为视觉元素,图像处理技术处于行业前列。
多模态大模型MM1:
2024年3月发布,由密集模型和混合专家(MoE)变体组成,具备300亿、70亿、30亿参数等版本,在预训练指标中实现最优性能SOTA。
多模态模型Ferret-UI:
2024年4月发布,专为增强对移动端UI屏幕的理解而定制,可执行从基本到复杂任务等11种任务,具备解决现有大部分通用多模态大模型所缺乏的理解用户界面(UI)屏幕并与其有效交互的能力。
开源大语言模型OpenELM:
2024年4月发布,包含2.7亿、4.5亿、11亿和30亿个参数的四种版本,定位于超小规模模型,运行成本低,可在手机和个人PC等设备上运行文本生成任务。
理解、转化模型 ReALM:
2024年4月发布,10亿和30亿2个参数版本,在测试中性能优于GPT-4,可以重建手机或PC等平台的屏幕关键信息,转化成可理解文本。
应用层:
推出苹果智能(Apple Intelligence),升级操作系统。
AppleIntelligence(苹果智能):
定位为系统级产品,打造“端+私有云”组合方式,将大模型集成到iPhone、iPad和电脑的iOS系统中,升级Siri功能,成为用户的“智能贴身管家”,深入理解和预测用户行为。
“Apple Intelligence”生成式AI工具主要包括:①ChatGPT集成:苹果与OpenAI合作,ChatGPT深度集成到iOS 18、iPadOS 18和macOS Sequoia中,可在手机、平板和笔记本电脑中原生使用ChatGPT进行文本和图片生成等功能。②Siri智能化:在ChatGPT加持下,Siri深度解读文档、图像等内容,提供精准的语音助手服务。③系统级写作工具:iOS 18、iPadOS 18和macOS Sequoia内置全新的系统级写作工具,用户几乎可以在任何应用中使用这些工具来。④个性化服务:Apple Intelligence结合生成式AI模型和个人信息,提供实用智能服务,可以跨应用执行操作,加速日常任务。⑤多种风格的图片生成:支持生成式图片,提供素描、插图和动画等多种风格。
终端操作系统:
今年WWDC24苹果升级了iOS 18、iPadOS 18、watchOS 11、macOS 15、visionOS 2及tvOS 18等六大操作系统。①iOS18:向个性化、隐私化、智能化方向升级,更新个性化主屏幕功能、控制中心扩展、隐私模式、紧急卫星通话等功能;②Audio&Home:优化AirPods交互方式,音视频功能升级;③watchOS11:聚焦健康检测,新增训练,智能负荷预估等功能;④iPadOS18:新增计算器APP,支持手写算式计算;⑤macOS Sequoia:引入“iPhone mirroring”及智能多窗口管理,独立密码应用等五大新特性;⑥tvOS 18:引入InSight、扩充“增强对话”等。
MR设备VisionPro:
由M2和R1芯片驱动,引入机器学习技术,搭载全新的3D界面与输入系统,拥有超2000个原生APP和150万个兼容iPhone和iPad的应用程序,增添新的交互手势,旅行模式支持火车场景,办公引入投屏扩展功能,通过一系列新的API和架构优化开发者体验。