跟踪 | 大模型从业者对B200的分析

最近公众号改变了规则，推送不按时间顺序，如果不想错过《 思维纪要号 》的文章，请设“星标”并且经常点击“在看”，感谢大家支持！

本公众号是《思维纪要社》的备用账号，通道↓↓↓

未来怎么看 ?

推理这一块要降低成本，只要是显存放得下，就尽可能少用卡 (显存带宽 8TB vs. NVlink 1.8TB 还是显著高)

如果大家都用 fp8 比，GB200 相比 H200 提速估计在 10 倍左右。从 4bit 往3bit 推理量化，算法上还有比较大精度问题，2bit 再往下可能就比较困难了未来推理这块，在 transformer 的设定下，主要看 HBM 了，要更大更快。推理速度决定推理成本，这又进一步决定了有多少应用可以商业化。