更多一手调研纪要和研报数据,点击上面图片小程序
1、AI行业正发生哪些新变化?
1.1、算法:Sora横空出世,多款大模型陆续发布
Sora:文生视频功能强大,AIGC步入“世界模型”新纪元
2024年2月16日,OpenAI发布文生视频模型Sora,视频时长可达60S,较此前发布的Pika、Runway等,
视频时长、效果有明显提升。
1)模型能力:①视频生成:生成多种尺寸视频,适配各类设备;②视频合成:时间延伸、场景替换
及无缝连接;
③图片生成:
分辨率最高可达2048x2048。
此外,随着规模效应逐渐显现,以构建“世界
模型”为目标的Sora有望涌现出物理世界拟真能力,该过程与GPT-3展现出的类比推断能力相似。
2)核心技术:①视频压缩网络技术,将视频数据压缩,以提升训练的速度和质量。②利用ViT处理,
将数据再次分解为携带时空信息的Patches,并引入NaViT架构以适应多种分辨率、持续时间与纵横
比。
③通过DiT模型从“随机噪声”开始逐步“消噪”,最终生成与文本提示接近的视频内容。
④此
外,引入入DaLL-E与GPT模型框架,提升模型的理解能力。
Sora的问世,除了重塑视频、内容行业外,与场景可视化有关的仿真、建模、特效、广告等相关
领域有望迎来颠覆性变革。
虽然Sora的成熟尚需时日,但与传统多模态模型相比,Sora让人们真
切感受到虚拟与现实的边界正变得模糊,“世界模型”(world model)正越来越近。
谷歌:
Gemini 1.5刷新上下文长度纪录,Gemma开源并推进端侧落地
2024年2月,谷歌相继发布多模态大模型Gemini 1.5和轻量级开源模型Gemma,大模型产品迭代提速。
Gemini 1.5在此前2023年12月发布的Gemini 1.0的基础上迭代,目前能稳定处理高达100万Token的数
据,创下最长上下文纪录。
该模型基于Transformer架构与MoE模型,可以针对每个查询激活最相关的
“专家”路径,从而迅速学习复杂任务。
Gemma采用与Gemini相似的技术架构,以其轻量级、高性能的
特点,使用户可以轻松在笔记本电脑、台式机等平台运行。
不同于Gemini的封闭模式,Gemma开源有望
加速大模型技术革新及生态发展,进一步推动AI端侧落地。
Meta:开源视频预测模型V-JEPA,目标“以人类的方式”理解世界
2024年2月16日,Meta推出全新的视频预测模型V-JEPA。
这是继2023年6月Meta开源图像预测模型I
JEPA后、基于“世界模型”概念的模型。
Meta称其能够以人类的理解方式看世界,认为这是通向先进
机器智能的关键一步。
V-JEPA基于Transformer 和LeCun提出的联合嵌入预测架构(JEPA),采用自监
督的学习方式,完全依靠未标记的数据进行预训练,无需微调,以此构建了理解世界运行的能力。
此
外,该模型还结合了掩码策略,提升预测能力。
Meta表示下一步研究方向将包括处理视频中的视觉、
音频信息的多模态方法。
V-JEPA等世界模型有望推动具身AI、AR眼镜、个人助理应用的发展。
Groq:每秒输出500 Token,Groq自研LPU引发广泛关注
2024年2月19日,硅谷初创企业Groq发布专为大模型设计的推理芯片LPU,每秒可吞吐高达500个
Token,引发业内广泛关注。
目前在Groq官网基于LPU运行的大模型为Mixtral与Llama 2模型,其在计
算和响应速度上的表现处于业内前列。
目前Groq不出售单卡或芯片,而是利用从芯片到系统的完整技
术栈与规模效应,获取单位价格优势,并计划优先部署B端市场。
国内:大模型能力不断迭代,性能向GPT 4趋近
2023Q4以来,国产AI大模型迎来密集升级,百度文心4.0、智谱GLM4等在SuperCLUE、OpenCompass、
IDC等评测榜单中均排名前列。
评分方面,2023年12月国产大模型平均评分为GPT4评分的79.47%水平,
明显超出GPT3.5的分数。
2023年10月17日,百度文心大模型4.0发布,实现了基础模型的全面升级,在
理解、生成、逻辑和记忆能力上有明显提升。
李彦宏表示文心4.0综合水平“与GPT-4相比毫不逊
色”。
2024年1月16日,智谱AI、Minimax推出新版本大模型产品。
1月30日,科大讯飞发布讯飞星火
V3.5,并设立了在2024年上半年对标GPT-4的目标;
万兴科技于同日发布“天幕”多模态大模型,视频
生成能力持续提升。
1.2、算力:英伟达业绩再超预期,行业景气延续
英伟达:业绩再超预期,数据中心、游戏业务大幅增长
24Q4业绩再超预期,FY24实现收入超600亿美元。
2月22日,英伟达发布2024财年第四财季(2023年
11月-2024年1月)报告,FY24实现营收609.22亿美元,同比增长126%;
净利润297.60亿美元,同比增
长581%。
单季度看,FY24Q4实现营收221.03亿美元,同比增长265%,高于市场预期的204亿美元;
单季
度净利润122.85亿美元,同比增长769%,高于市场预期的103亿美元。
数据中心业务占比超80%,同比增速领先其它板块。第四财季,英伟达数据中心收入184亿美元,占
总营收83%,同比增长409%,高于此前市场预期的172亿美元。
受益于AI GPU交付周期缩短、H200和
B100等旗舰GPU在2024年出货,数据中心业务收入有望维持高景气。
其他业务板块看,游戏、专业可视
化和汽车业务分别实现29亿美元、4.63亿美元和2.81亿美元的收入,分别同比增长56%、105%和下降
4%。
受益于数据中心业务表现,季度利润率持续提升。FY24Q1~Q4,英伟达公司单季度毛利率分别为
64.60%、70.10%、74%和76%,单季度净利率分别为28.41%、45.81%、51.01%、55.58%,持续提升,最
新单季毛利率创历史新高,得益于公司数据中心业务高企,以及优化产品组合、提升经营效率。
多款AI芯片问世,算力行业高景气持续
国际:微软在2023年发布了其首款自研的AI芯片Maia,宣称该芯片能够在训练和推理方面达到与英伟
达H100相当的性能,同时还能节省约30%的成本。
据The Information报道,微软正在研发一款新型网
卡,旨在提升其自研的 Maia AI 服务器芯片的性能,并有可能降低公司对外部厂商的依赖。