(参考
消息、作文、专家纪要、调研分享；提高认知及信息差
)
分享市场、行业及公司动态，包括投资策略、行业数据库、专家调研、公司纪要；信息超越
99%
的投资者）微信扫码加入体验）
总体经济
1.最近没有特别变化，费半获利预估持平，我们预估这两个月财报季大概也是持平，没有特别好或壤
2.前波上来是因PC和手机销售比预期好，加上去年5月开始Al上来
3.预期台积电2Q24展望QoQ持平，比较大的cocern是margin,因折旧增加太多，获利不容易上修
4.好消息是存货清掉蛮多的，PC和手机都有所去化，比较高库存的是ANALOG和PMIC,网通库存也还在高档
5.中国工具机销售有回温迹象，虽然YoY衰退还是比较多，但QoQ有改善
6.股票评价面受惠获利上修，但股价也往上，所以评价面看起来很贵,现在大家用2025年评价,但也要2025年展望比较好的公司，大家才敢投资
7.筹码面，美林牛熊指标回到5左右中性，之前一度冲高到6点多
8.长线资金long only fund持股加到40%,但还是历史低档水位，Hedge则是一直卖,但也卖得差不多会反弹
9.整体来看除了Al外，其他状况没有到很好，但也没有很差
Al Server
1.GB200是鸿海reference design,广达也有些机会,因为广达先前有做GH200reference design
2.AMD主要客户是MS,但産品一直有状况，包括HBM和BIOS的问题，MS今年给的单有明显修正，原本要下4,000 rack,剩下1,000 rack,因此AMD财报不太容易上修forecast
3.Intel Habana都是卖中国CSP,但还是比较low end的规格，要有明显突破比较困难
4.各家芯片都是用cowos封装，H100切28颗，B100切16颗，MI300X切16颗
5.NV 2023年出货100万颗，2024年有机会卖到300万颗，第二大是Google,但比较大用在推论
Amazon
1.2019年推Inferentia,Marvell做的，前两年推Sunda,在市场上有两个名字，如果一个模块上放2颗芯片叫Trainium,放1颗叫Inferentia 2
2.NeuronLink只能跟上下左右连线,4条加起来768 GB/s,除以4为双向192 GB/s,单向96 GB/s,而NVLink都是单向450 GB/s
3.Amazon坚持自己内部的training都要自研芯片
Google
1.每一代都是主机板放4颗芯片，成为一台server,一个rack放16台server,所以一个rack就64颗芯片
2.设计架构为一个rack 64颗芯片组能一个内网,内部连线走铜线,外部连线走光纤
3.一様芯片互连只能前后左右上下，大概6颗芯片
4.v5p增加为140 rack,前一代v464rack
MI300X
1.跟NV类似，OAM+UBB,差别是cowos+soic,算封装技术比较领先
2.虽然标榜很多性能测试优于NV,但由于没有NVSwitch,如果切到双向仅128GB/s,且该比较没有把NV优化软件放入，NV可以同时运作很多个batch,等于可以同时跑很多跑道，AMD只能一次跑一个跑道。ADM未刊登MLF测试,实际效能是问号
3.MI350X,没看到太多新东西，一様是PCle Gen5(同为双向128 GB/s),主要差异是存储器从192变288 GB,加上走水冷，NV做什麽AMD就跟着,预计4Q25推出
Intel
1.Gaudi用乙太网,双向仅25 GB/s
2.Gaudi 2速度升级为双向75 GB/s,最新宣布的Gaudi 3提升为150 GB/s
3.Gaudi是在打AMD,打不到NV。目前只看到小型公司在用，大型CSP未采用
NV
1.最大优势为 NVLink和total solution
2.NVLink可做到每个芯片以双向900 GB/s高速互连
3.total solution为GPU可以跟CPU连线,用NVLink打开通道，可使用CPU的存储器,在训练大模型有极大优势
二
GB200
1.原先H100、H200、G100、G200架构都一様，差异只在power consumption
2.B100内部正式代号是GB100(G没有意义),GB100是两颗GB102+8颗HBM3,
GB102应该就是接下来公布的5080芯片(显卡)
GB100市场上有三个名字
3.700W=B100,1,000W=B200,1,200w=GB200(NVL72)
4.GB200瓦数为2,700w=2*1200(GPU)+300(CPU)
5.GB200目标9月量産，但复杂的部份都先拿掉，且中间制程都不能出问题
6.GH200是8+9+8,GB200为10+9+8,由于功耗和技术难度可能会改成5+9+4
7.tray 会以ComputeBianca=(1CPU+2GPU)*2为主要方案
8.NVL 72(10+9+8)会较困难,改成NVL
36两组,中间用光纤连线,Compute tray
每台2u,容错空间大
9.NV叫鸿海做的reference design仍以
NVL 72为主，除了MS会用NVL 72,其
他三家都先用NVL 36
10.CX8(800G)做不出来,为了Time toMarket,妥协用了CX7(400G)
11.一个Compute Tray会放2个BMC,其中一个BMC用来控制两个Bianca,一个BMC负责NIC BF3。Switch Tray裸面也会有BMC,所以一个Rack用量达 27个
BMC,以往HGX每台大概3~4个BMC,所以一个Rack需求大概12~16个BMC,因此BMC用量有增加
12. 这代NV卖什麽，Bianca模块、HMC网通模块、IO board with CX7、NVLinkSwitch kit、BF3 DPU,这次没有要卖准系统
ODM/OEM
1.领先地位为广达和鸿海，广达原先设计GB200板子，鸿海因提供referencedesign地位提升
2.Tier 2厂商为Supermicro、技嘉、
Lenovo、英业达
3.NV因为也没有能力弄Rack系统，因此招标由鸿海得标(敢砸钱买测试设备),其他厂商提供feedback
4.鸿海因为要等NVL 72 ready,所以出货时程会比较晚，Oracle、CoreWeave也应该会用NVL72方案
5.四大CSP,三家都找广达,MS是鸿海和广达都有
6.CoreWeave找DELL,DELL找鸿海或绰创近期会有消息
7.以价格来看，A1008,000、H100
24,000、GH20030,000、B10028,000,
B20033,000,Bianca 68,000
8. NVL72约300m美金
Power
1.NVL 72供应商为 Flex Power,NVL 36为 Flex Power+Delta
2.Power采用集中供电,每一台12个
PSU,一个供电5.5kw,总共供电66kw。NVL 36需要放2台，NVL36需要放4台
CCL
1.用量下滑，CCL#per GPU,H100産值
3,478 NTD,GB200 NVL 362,707 NTD,dollar content少了20%
2. 但Unimicron的市占率会增加，HDI産值增加
GB200成本效益分析
1.老黄喊出”even when competitors offerchips for free,they're not cheap enough"
2.用GB200跟H100来比较计算，考量折旧和电费后 GB200确实成本较低，但大模型才显现出来,小模型差异不大
3.Sora需要多少GPU,一个H100每小时做出5分钟的影片，一天可做120分钟。目前市场需要TikTok 17m分钟,Youtube43m分钟,假设TikTok 50%和Youtube15%都变成Al,则需要15~100万张
H100。60s影片需要5美金，消费者可能目前不会大量采用
4.In-Rack CDU看起来不是主流，Liquid-to-Air Sidecar和Liquid-to-Liquid Row-based,前者比较像今年的主流，不需要更动 Data center基础建设,后者散热能力极强，可以到600kw,但要改基础设施要新建的data center才会采用
5.散热 Dollar Content Per GPU方面，
HGX H100大概只有100美金，NVL 36要
2,000美金以上
6. 散热四大主要零组件：CDU、分岐管、Cold plate、UQD快接头。CDU主要零组件为pump、热交换器，Vertiv是主要NV认证供应商。冷却液JeffCool
