专栏名称: 芝能汽车

本公众号是博主和汽车电子的行业的工程师们一起交流、探讨、思考的小结，以作为技术交流和沟通的桥梁

安谋科技：端侧AI应用的机遇与挑战

芝能汽车 · 公众号 · 汽车 · 2024-11-02 08:18

正文

芝能智芯出品

在中国硬科技产业链创新趋势峰会上，安谋科技产品总监鲍敏祺详细介绍了端侧AI应用的现状、机遇与挑战，特别强调了NPU（神经网络处理单元）在提升终端算力方面的重要作用。

随着生成式人工智能（AIGC）和大模型技术的快速发展，AI技术正从云端向终端设备延伸，为智能手机、PC、汽车等设备带来了新的应用场景。

端侧AI的兴起不仅带来了技术突破，还在用户体验、数据隐私和安全性等方面产生了深远影响。

端侧AI的崛起：

NPU的战略地位

AI计算主要依赖于云端，但云端计算存在延迟和数据隐私的问题。

随着NPU的广泛应用，端侧设备逐渐具备了处理AI任务的能力。NPU是专为神经网络计算设计的加速器，与传统CPU和GPU相比，它在执行AI模型时效率更高、功耗更低，适合资源受限的设备。

鲍敏祺指出，端侧AI可以在本地处理数据和任务，实现快速响应，无需将数据传输到云端，从而提升用户体验并保护隐私。

NPU技术的进步推动了终端设备在语音识别、图像处理和自然语言处理等多模态任务上的性能提升。例如，现代智能手机可以利用内置NPU实现实时物体识别，帮助用户管理和分类照片。

端侧AI不仅在消费电子产品中表现出色，在智能家居、智能穿戴、自动驾驶等领域也有广泛的应用前景。

● 端侧AI的核心挑战：算力与带宽的平衡

端侧AI潜力巨大，但其发展仍面临技术和资源的限制。当前，端侧设备的带宽一般在50-100GB/s之间，而云端则可以提供数百TB/s的带宽。

鲍敏祺指出，端侧设备通常运行1-3B参数的大模型，少数情况下可以达到7B，而云端可以运行100B甚至更大的模型。这种带宽和算力的限制使得端侧设备在处理AI任务时无法达到与云端相同的计算能力，导致模型规模和功能复杂性受限。

端侧AI应用需要满足实时性要求，例如在语音助手和图像识别等应用中，用户期望响应时间在毫秒级别。带宽和算力的限制使得端侧AI模型需要在效率和效果之间找到平衡。

这促使芯片制造商在设计端侧NPU时，需要在性能和功耗之间进行权衡，以实现最优的功率效率比。

端侧大模型的发展：

多模态与个性化应用的趋势

目前端侧大模型的发展主要集中在语言模型和文生图（文本生成图像）模型，未来将扩展到多模态领域。

多模态模型能够处理语言、图像、音频、视频等多种数据输入类型，满足多样化应用需求。例如，用户可以通过自然语言与设备互动，同时用图片进行信息输入，实现更智能的用户体验。这种多模态AI不仅是人机交互的进展，也让终端设备能够更深入地理解用户需求。

端侧AI的个性化能力是未来的重要方向。通过在设备上进行个性化训练，端侧AI可以不断适应用户的行为习惯，提供更个性化的体验。例如，通过学习用户的拍照偏好，智能手机的AI系统可以自动调整相机设置，甚至在拍照时推荐最佳拍摄模式。这种个性化特性将进一步提高用户黏度，为终端厂商带来更多的商业机会。

● 端侧AI赋能新兴设备：可穿戴设备的潜力

端侧AI的应用场景已经从智能手机、PC等传统设备扩展到可穿戴设备。

随着NPU技术的提升，可穿戴设备能够在小巧的体积内实现语音识别、健康监测和图像处理等功能。例如，搭载NPU的智能手表可以在本地处理语音命令，提供更便捷的用户体验。

智能眼镜等新兴可穿戴设备也可以借助端侧AI技术提供实时翻译、情绪识别等功能，拓宽了可穿戴设备的应用边界。

通过在可穿戴设备上引入AI功能，厂商能够提供更具吸引力的产品，从而在竞争激烈的市场中脱颖而出。例如，具备实时语音翻译和心率监测功能的智能手表可以在出国旅行、健康管理等场景中为用户提供更多实用性，提升生活质量。

● 端侧AI的技术挑战与行业机遇

端侧AI在许多方面展现出巨大的应用前景，但鲍敏祺指出，它仍然面临一些技术挑战，主要集中在存储带宽、功耗和生态系统三个方面。

◎ 存储与带宽：端侧设备的存储容量和带宽限制使得其无法像云端一样处理大规模数据。为了解决这一问题，行业需要进一步提升存储介质的性能，同时优化数据压缩和传输算法，减少AI计算对带宽的需求。

◎ 功耗限制：端侧设备在AI计算时会面临显著的功耗挑战，尤其是在手机等手持设备中，功耗过高将影响设备的电池续航。因此，NPU的设计需要在保证算力的前提下控制功耗，提升能效比，确保AI功能不会影响设备的使用体验。

◎ 生态系统的构建：为了推动端侧AI的广泛应用，构建开放且兼容的生态系统至关重要。通过建立标准化的接口和协议，行业内的厂商可以在同一平台上开发、部署AI模型，推动终端设备的智能化升级。加强与云端AI系统的协同合作也是端侧AI未来发展的重要方向，以实现端-云一体化的智能服务体验。

展望未来，鲍敏祺提出了一个重要的概念——“Agent智能体”。这种智能体不仅执行命令，还能通过深度学习和强化学习实现自我优化和提升，更全面地理解和满足用户需求。

智能体可以在不断获取用户反馈的过程中进行自适应调整，为用户提供更为精准的服务。例如，通过与用户的互动，智能体能够推测用户的喜好、预判需求，并主动提供个性化建议，从而增强用户体验。

随着多模态AI和个性化模型的成熟，智能体将不仅局限于手机等传统设备，还可能出现在家用机器人、智能家居系统等场景中，为用户提供全天候的智能化支持。

这样的发展前景意味着端侧AI不仅是一项技术进步，更是推动万物互联和智能生活的核心动力。

小结

安谋科技在本次峰会中探讨了端侧AI应用的现状、挑战及未来发展趋势，重点突出了NPU在提升终端算力和支持多模态AI方面的关键作用。端侧AI的兴起不仅满足了用户对实时性和隐私保护的需求，也为终端设备制造商带来了新的市场机遇。