专栏名称: 人工智能学派
人工智能学派专注于分享:GPT、AIGC、AI大模型、AI算力、机器人、虚拟人、元宇宙等AI+160个细分行业!
目录
51好读  ›  专栏  ›  人工智能学派

AI专题:Scale up与Scaleout组网变化趋势如何看?

人工智能学派  · 公众号  ·  · 2024-09-11 18:50

正文

如何下载资料?

微信扫下方二维码加入星球平台

【老会员续费特惠】

今天分享的是:AI专题:Scale up与Scaleout组网变化趋势如何看?

报告共计:24页

《AI深度洞察系列报告(三):Scale up与Scale out组网变化趋势如何看?》由兴业证券发布,主要探讨了AI组网结构的变化趋势及其对算力产业链投资机会的影响。

- Scale up:

- 带宽提升:AI大模型训练采用分布式并行训练架构,其中张量并行对通信要求最高,随着模型规模增加,服务器内带宽需求快速提升,建立更大带宽的超节点成为趋势。

- 规模决定:超节点规模由GPU或云厂商设计决定,英伟达超节点规模不断升级,谷歌通过做大超节点Pod规模降低DCN带宽要求,UALink联盟也在推动超节点规模提升。

- 互联密度:Scale up升级趋势为做大超节点规模,英伟达采用NVL GB200方案和NVLINK协议提升机柜内部互联带宽,采用铜互联方式,长期来看,光互联有望替代铜互联。

- Scale out:

- 集群规模:Scaling Laws法则驱动大模型硬件部署走向更大集群,AI集群规模已进入10万卡阶段,以太网组网在AI集群中的应用加速落地。

- 以太网:字节跳动和Meta等公司已采用以太网搭建AI集群,博通以太网交换芯片不断升级,英伟达也强调以太网方案部署。

- 交换机:Arista针对AI需求提出不同交换机互联方案,交换机端口数提升可推动Scale out规模提升。

- 光模块:光模块总需求与算力需求成正比,保持向上趋势,硅光技术有望从可插拔硅光形式逐步过渡到CPO形式,在1.6T光模块阶段渗透率有望提升。

总之,AI组网走向更大规模集群,Scale up带动节点内部互联需求提升,Scale out推动集群规模扩大,交换机和光模块等相关产业将受益于这些变化。

以下为报告节选内容


扫下方二维码加入我们







请到「今天看啥」查看全文