专栏名称: 健谈计算机
第一时间分享科技行业独到见解,定期更新每周观点及研究成果。关注我们,与您一同并肩在科技浪尖和股市前沿。
目录
相关文章推荐
51好读  ›  专栏  ›  健谈计算机

行业点评:Llama 3性能升级,AI应用和算力厂商持续受益【开源计算机陈宝健团队】

健谈计算机  · 公众号  ·  · 2024-04-24 21:10

正文

评论

1、 事件: Meta发布最新AI模型Llama3
4月18日,Meta发布最新AI模型Llama 3。Llama 3目前已开放8B和70B两个小参数版本,未来将继续推出更多产品,最大版本参数超400B

2、 Llama 3性能实现重大飞跃,未来将发布400B版本,有望对标GPT-4
(1)Llama3目前开放8B和70B两个版本,性能相比Llama2实现重大飞跃。 Llama3通过使用更高质量的训练数据和指令微调,Llama3相比Llama2实现重大飞跃,在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma7B和Mistral7BInstruct。
(2)Llama3训练数据量和训练效率大幅提升。 Llama3由超15Ttokens的公开数据训练而来,训练数据是Llama2的7倍,代码数据是Llama2的4倍。为支持多语言应用,Llama3超5%的预训练数据由30多种语言的高质量非英语数据组成,Llama3的训练效率也较Llama2提升3倍。
(3)Meta已将Llama3集成在MetaAI中,未来将发布MetaAI智能眼镜。 Llama3已集成在AI助手MetaAI中,支持在Facebook、Instagram、WhatsApp、Messenger和Web上使用。Meta表示未来将推出基于Llama3的多模态MetaAI智能眼镜。
(4)Llama3已在多家云服务厂商上线,支持大规模部署。 Llama3已在AWS、微软Azure、谷歌云、百度智能云、HuggingFace、IBMWatsonX、英伟达NIM和Snowflake等平台上线,支持Llama3训练、部署和推理运行。
(5)Llama3未来将推出更多产品,最大版本参数超400B。 Meta表示8B和70B只是Llama3的开始,未来将继续推出更多产品,包括多模态、多语种、更长的上下文窗口和更强的整体功能。其中,Llama3最大的模型参数超过了400B,性能有望对标GPT-4,目前仍在训练中。

3、开源大模型迎重磅升级,AI应用和算力厂商有望持续收益
Meta发布Llama 3,开源大模型生态又迎重磅升级,国内AI应用和算力厂商有望进一步受益。未来随着400B版本的发布,AI垂直行业应用有望加速落地。另一方面,Claude 3、Llama 3均发布小参数版本,未来AI厂商或将继续在小模型领域发力,支持AI模型在手机、电脑端本地运行,端侧AI应用也值得关注

4、投资建议






请到「今天看啥」查看全文