专栏名称: 计算机视觉深度学习和自动驾驶
讨论计算机视觉、深度学习和自动驾驶的技术发展和挑战
目录
相关文章推荐
51好读  ›  专栏  ›  计算机视觉深度学习和自动驾驶

最新 | 微软推出Phi-3系列小语言模型

计算机视觉深度学习和自动驾驶  · 公众号  ·  · 2024-04-26 00:45

正文

4月23日,微软推出了新的Phi-3系列小语言模型(SLM),旨在在人工智能应用中提供高性能和成本效益。

微软办公大楼

01

主要内容

与类似和更大尺寸的模型相比,微软发布的Phi-3系列模型在 语言理解、推理、编码和数学方面 的基准测试中表现出了更好的结果。Phi-3的发布为希望利用人工智能同时平衡效率和成本的开发人员和企业提供了更多选择。
Phi-3系列中的第一个模型是Phi-3-mini,这是一个3.8B参数模型,现在可在Azure AI Studio、Hugging Face和Ollama上使用。微软表示,Phi-3模型的开发遵循了公司的“负责任的人工智能”原则和标准,即强调责任、透明、公平、可靠、安全、隐私、安全和包容性。据悉,Phi-3系列模型已经接受了安全培训、评估和红队测试,以确保遵守负责任的人工智能部署实践。
为了优化各种硬件设置的性能,Phi-3-mini针对ONNX Runtime和NVIDIA GPU进行了微调。微软计划很快推出Phi-3-small(7B参数)和Phi-3-medium(14B参数),从而扩展Phi-3系列。这些新增型号将提供更广泛的选择,以满足不同的需求和预算。

02

性能表现

Phi-3-mini经过指令调整,无需大量微调即可“开箱即用”。它的上下文最大可达128K tokens,在同类产品中是最长的,因此可以在不影响性能的情况下处理较大的文本输入。
在各种基准测试中,Phi-3型号的性能比同尺寸甚至更大的型号都有显著提高。据该公司称,Phi-3-mini在语言理解和生成任务中的表现超过了两倍于其大小的模型,而Phi-3-small和Phi-3-medium在某些评估中超过了更大的模型,比如GPT-3.5T。
下方二图为 Phi-3-mini与其他小语言模型的性能对比:

03

发展前景

Phi-3系列专为资源有限、注重低延迟以及成本效益优先的应用场景而设计。这些模型具有实现设备推理的潜力,使人工智能驱动的应用能够在各种设备上高效运行,包括那些计算能力有限的设备。 Phi-3模型的较小尺寸也将使微调和定制对企业来说变得更经济实惠,使他们能够根据自己的特定用例调整模型,而无需承担高昂的成本。
在对快速响应时间要求很高的应用中,Phi-3型号提供了一种很有前途的解决方案。其优化的架构和高效的处理能力可以快速生成结果,提升用户体验,并为实时人工智能交互提供可能性。此外, Phi-3-mini 强大的推理和逻辑能力使其非常适合数据分析和洞察力生成等分析任务。
随着 Phi-3 模型的应用不断涌现,这些模型在推动创新和使人工智能更易于使用方面的潜力也变得越来越明显。 Phi-3系列是人工智能民主化的一个里程碑,它使企业和开发人员能够利用高级语言模型的强大功能,同时保持效率和成本效益。
微软通过Phi-3推动了小型语言模型的发展,为未来将人工智能无缝集成到各种应用和设备中铺平了道路。






请到「今天看啥」查看全文