更多一手调研纪要和研报数据,点击上面图片小程序
摘要
•
2023年AI服务器市场需求显著增长,预计全球GPU服务器出货量将达到160万台,同比增长33%。其中,北美三大客户(亚马逊、谷歌、微软)的需求增长率在20%至30%之间,亚马逊预计需求量为17万台,其中英伟达占比约25%。
•
字节跳动是
AI服务器市场的重要客户,其订单主要集中在9月份和第四季度交付,包括几十柜样机。GB200订单中,36卡配置报价约360万美元,72卡配置报价约170万美元。
•
美国新建了多处高密度数据中心,可以支持每月
120千瓦功率负载,具备足够的新建高密度数据中心来支持未来几年内的大规模部署需求。
•
字节跳动短期内将在美国交付部分设备,并计划长期部署到欧洲。东南亚区域由于基础设施限制,目前不太适合大规模部署。
•
液冷系统定制化因素较多,需要根据机房环境和
CTO标准进行调整。字节跳动与美的合作,在其机房端进行了液冷系统的一系列定制。
•
2024年全球数据中心柜体需求总量可能达到5万到6万个柜子,富士康预计会占据较大份额。富士康预计明年将交付12,000个柜子,总计约14,400个柜子。
•
未来随着大模型和多模态技术的发展,对高性能计算资源需求将持续增长,国家级超算中心、军队国防以及科研院所等新兴市场需求增加,将进一步推动
ODM厂商的发展。
Q&A
请问目前
AI
服务器市场的需求情况如何?
今年
AI服务器市场需求显著增长。去年全球大约有120万台GPU服务器,而今年预计将达到160万台,增幅约为33%。北美三大客户的全年预估增长率在20%至30%之间,具体如亚马逊的需求量预计为17万台,其中英伟达占比约25%,即4.4万至4.5万台。
能否详细说明一下亚马逊和其他主要客户对
AI
服务器的需求情况?
亚马逊今年整体需求预计为
17万台,其中英伟达提供的占比约25%,即4.4万至4.5万台。其他主要客户如谷歌、微软和字节跳动也有较大的需求。特别是字节跳动,其订单主要集中在9月份和第四季度交付,包括几十柜样机。
关于
GB200
订单,目前有哪些具体信息?
GB200订单主要集中在9月份和第四季度交付,涉及几十柜样机。主要客户包括海外抖音频道、AWS(亚马逊网络服务)、谷歌和微软。这些订单中,有部分是36卡配置,报价约360万美元;72卡配置则报价170万美元左右。
能否介绍一下不同配置
AI
服务器的价格差异及其原因?
36卡配置的AI服务器报价约360万美元,而72卡配置则为170万美元左右。这些价格会因客户定制化要求有所变化,如液冷系统、机房标准等。例如,字节跳动的一些定制化要求可能导致最终价格有所降低或增加。此外,不同GPU卡型号及其采购渠道也会影响最终成本。
美国高密度数据中心建设情况如何?是否能满足未来几年内的大规模部署需求?
美国新建了多处高密度数据中心,可以支持每月
120千瓦功率负载。目前统计显示,这类新建数据中心容量大概在20兆瓦左右,但具体部署还需根据客户业务需求进行调整。例如,如果明年计划部署5万个柜子,总功率将达到10吉瓦。因此,美国确实具备足够的新建高密度数据中心来支持这些部署。
字节跳动等公司在全球范围内的数据中心布局情况如何?
字节跳动短期内将在美国交付部分设备,并计划长期部署到欧洲。东南亚区域由于基础设施限制,目前不太适合一两百千瓦的大规模部署。而北美地区,如
AWS,则在全球各地都有相应的数据中心,根据业务需要进行灵活部署。
液冷系统方面有哪些定制化要求?能否举例说明一下字节跳动的液冷设置情况?
液冷系统定制化因素较多,包括液冷管路、冷板微波模组等部件,需要根据机房环境和
CTO标准进行调整。例如,字节跳动与美的合作,在其机房端进行了液冷系统的一系列定制,以满足特定环境下的散热要求。这种定制不仅限于硬件,还涉及到整个交付过程中的技术标准与规范。
美的公司在此次项目中担任总包商,是否涉及二次测中的
many food
和
loop
的供货?
不涉及。美的公司只负责
CTO部分,many fold和loop并不在其负责范围内。
CTO
是由美的公司提供的吗?
是的,
CTO由美的公司提供。我们为客户提供了一些内置CTO方案,其中内置CPU部署在整机机柜内,也有一种方案是CTO管理多个机柜,但CPU部署在机房内而非机柜中。
AWS
选择的是哪种方案?
AWS选择了内置方案。字节跳动前期也采用了内置方案,后续会根据整个机房情况决定是否需要外资设计。如果是内置方案,CTO部分仍需外购,即使是我们做也需要外购CPU。
目前主要供应商有哪些?客户是否有特定倾向?
目前主要供应商包括英伟达推荐的维力、酷爱
TM等。客户没有特别大的倾向,但为了降低成本,我们必须引入其他资源,如台湾或中国大陆供应商。因此,长期来看维力的市场份额可能会逐渐下降。
新机场新桥项目中如何看待
OEM
厂商降价要求?
在新机场新桥项目中,每年都会进行一次招投标,客户要求
OEM厂商降价。在降价过程中,会优先考虑机器外部部件如CTO和液冷系统,而内部部件降成本可能性较小,因为影响较大。此外,新供应商切换时间较短,只需控制介质流速、压力及纯净度即可。
为什么
ODM
厂商不愿意涉足
CTO
领域?
ODM厂商不愿意涉足CTO领域,因为其价值量较低,与服务器相比不是一个量级,没有必要投入研发资源。因此,多数企业认可让库玛斯、英威克、维力等共同完善解决方案,这样更为合理。
对于维力工程师关于软件软体优势及系统稳定性的观点怎么看?
不完全认可。尽管维力在软件软体方面有一定优势,但报价过高。在字节跳动和微信等案例中发现国内一些厂商报价比他们低
30%左右。此外,中国很多厂商在软件开发及传感器使用方面已达到相似水平,因此认为门槛并不高。
国产厂商如英威克是否有机会进入
AWS
或微软供应链?
长期来看,如果没有国家政策限制,是有机会的。关键看能否打入台系
ODM厂商体系。如果能大批量进入台系OEM体系,就有很大机会进入AWS供货链。此外,在北美以外地区如东南亚的数据中心,更倾向于引入国内厂商,以降低运输成本和海关费用。
除了英威克,还有哪些国产厂商有机会进入国际市场?
除了英威克,还有台达、技嘉、高栏节能等。这些企业虽然目前量相对较少,但具备潜力。此外,一些欧洲本地采购策略也值得关注,如爱默生、威图等美国企业,以及丹麦公司的安阿
C派克、高栏节能等都参与其中。这表明国际市场对多元化供应链持开放态度。
詹姆斯公司的产品质量如何?在市场上有什么优势和挑战?
詹姆斯公司的产品质量非常出色,尤其是在快件领域,他们拥有多项专利技术。然而,目前市场上的客户已经选择了其他品牌的供应商,导致詹姆斯公司在切换接口方面面临一定的阻力。虽然詹姆斯的接头价格较高,但其性能优异,漏液风险低。然而,由于成本问题,许多客户不愿意冒险更换现有供应商。
詹姆斯公司已被列入英伟达推荐的供应商名单,并且在
IBM和微软等大客户中也有成熟的批量供货记录。然而,如果他们无法在产品前期导入市场,将面临拓展市场的困难。尽管如此,其产品质量在业内仍然处于领先地位,比国内如中航光电等竞争对手更具优势,但价格也相对较高,大约贵50%。
在冷板技术领域,目前主要有哪些供应商?字节跳动等大客户选择了哪些供应商?
字节跳动目前主要使用国内供应商,如中航光电和台湾泰硕。这些冷板技术已经在通用服务器和
AI服务器上大规模应用,并且这些冷板通常自带接头。因此,要进入字节跳动这样的客户体系,新进厂商必须提供足够强有力的理由说服客户进行更换。
海外客户如
AWS
,其冷板及相关组件的供应链情况如何?
AWS通常选择台湾供应商,如祁红(AVC)等,这些厂商提供的是一整套解决方案,包括冷板、接头以及CPU部分。这种整合方案能够确保各组件之间高度匹配,从而提高整体系统效率。在项目初期,这些方案就已经确定下来,并通过招投标方式进行后续工作。
未来几年内数据中心市场需求如何?富士康声称已获得大量订单,这是否属实?
根据预测,
2024年全球数据中心柜体需求总量可能达到5万到6万个柜子,其中富士康预计会占据较大份额。富士康声称已获得几万柜子的订单是有可能的,但具体数量还需视其报价情况而定。今年富士康预计将交付2,400个柜子,而明年的目标为12,000个,总计约14,400个柜子。因此,整体需求量是可观的,但实际交付情况可能会延至2025年。
目前市场上柜子的统计口径是如何确定的?具体数据如何分布?
市场上的柜子统计口径主要分为
36U和72U两种。具体的选择取决于业务需求,大致估计各占一半。如果全部折算成36U的话,总量大约在7至8万个柜子之间。
富士康在生产柜子方面的情况如何?
富士康生产约
15,000个柜子,其中约1/3(即3,000至4,000个)是为英伟达代工并带有英伟达标志,其余部分主要供给微软。这些柜子中,以72U规格为主,尤其是早期卖给国家超算中心、军队国防和科研院所等客户的高配版本。
对于微软明年的需求量预估是多少?
微软明年的需求量预计在
2万个左右,不太可能达到3万。具体数量还需视其业务部署情况而定。
AWS
明年的需求量预估是多少?其规格分布如何?
AWS明年预计需要12,000个柜子,其中推理业务以36U规格为主,占比可能达到60%,训练业务则以72U规格为主,占比约40%。
Meta
(美塔)和
Google
(谷歌)的需求情况如何?
Meta今年能消耗掉H100就已经不错了,预计明年需求量在6,000个左右。Google对GPU采购量持续增加,但2025年总采购量不会超过1万,预计在7,000至8,000个之间。
综合来看,各大公司的总需求量是多少?市场总规模又是多少?
综合各大公司预估:
Google 8,000个,Meta 6,000个,AWS 12,000个,微软20,000个,共计46,000个。而整个市场规模预计在56,000个左右,其余1万个主要由渠道商如戴尔、惠普等购买,他们也正在拓展GB200相关研发和市场。
对于超威(
AMD
)的未来预期是什么?其产能目标是否可行?
超威管理层预期较激进,目前月产能已达
1,000柜,希望明年达到1万多柜。但由于推理业务尚未完全落地,对GB200的实际需求仍不明确,因此实现这一目标存在挑战。
英伟达
CEO
为何积极推动
GPU
产品及相关业务套件落地各领域?
英伟达
CEO希望通过将GPU产品及相关业务套件迅速推广到机器人、医药、自动驾驶等领域,以刺激底层对推理业务的客户需求,从而增加AI服务器订单。这种策略旨在通过实际应用来推动对高端产品如GB200和未来更高端产品的市场需求增长。
您提到的数据基础是什么?这些数据来源是否可靠?
数据基础主要来自与客户交流以及台湾总部与海外客户的信息反馈。例如台湾
CTC公司拥有良好的客户资源,通过这些接口获取的信息反馈,用于调整未来战略。因此,这些数据具有一定可靠性,并反映了当前市场趋势。
英伟达为何将部分收入转移至
CT
?其背后的战略意图是什么?
英伟达将部分收入转移至
CT的主要原因在于公司领导层的低调行事风格。英伟达控股CT 70%的股份,通过这种方式,英伟达避免了在市场上显得过于强势,从而引发外界对其垄断地位的担忧。尽管英伟达在服务器领域占据重要地位,但他们更愿意保持第二或第三的位置,以避免成为行业内唯一的主导者。此外,英伟达通过CT向客户提供产品和服务,这种模式也帮助他们分散了业务风险。
2023
年微软在
AI
服务器方面的供应情况如何?
在
2023年,微软所有用于OpenAI项目的服务器均由英伟达提供。这些服务器通过CT交付给客户。由于AI服务器需求量增加,微软才开始引入富士康和广达等其他供应商,这一变化预计将在2024年实现。在此之前,OpenAI项目所需的所有服务器资源全部来自于英伟达。
GB200
时代代工厂份额发生了哪些变化?