NVIDIA在昨日举办了GTC Financial Analyst Q&A Event。其有若干关键表态,或对AI发展呈现指引作用。
1. 软件层对AI非常重要。
在交流中公司不断强调了软件层的重要性,甚至表明公司是软件优先的公司。公司表示其创造了数百个domain specific libraries,例如CuDNN,这些libraries构筑了AI的坚实基础,也造就了整个AI的产业链。但是现在,AI也在反哺软件层。在AI超算的帮助下,公司构筑了TensorRT算法,形成了正反馈。
2. NVIDIA的TAM(可达市场规模)或高达2500亿美元。
公司表示,其产品并不只是芯片,而是数据中心。单独的AI芯片无法直接工作,需要软件层和数据中心的配合。当前数据中心有1万亿美元的市场,折算下来每年2500亿美元的市场,这些市场公司都可达。同时公司表示,其产品是AI的通用解决方案,而像TPU这种专用解决方案,有着更高的对于利用率的要求,所以成本未必会经济。公司认为,目前市场还处在通用计算向加速计算转化的阶段,但是未来几年后,的确可能会存在更新周期的问题。
3. 推出NIM并进行商业化变现。
NIM是NVIDIA Enterprise中的一项服务,其通过一系列云原生的微服务,能够更好地帮助企业研发生产用的AI模型及进行推理任务。其拥有一些预训练的domain-specific的模型,可以让企业进行微调,并对推理引擎进行了优化,支持在各个终端上的部署。收费为每GPU 4500美元/年。
4. 不必对能源问题过于担心。
公司表示尽管最新的B100级的功耗达到了1kw水平,但相对于其他工业产品,1kw是一个很低的能源消耗级别,不需要新的发明就能轻松处理。公司表示在与Vertive合作推进液冷系统的设计和部署。
5. NVLink的重要性可能被市场低估。
公司推出了NVLink Gen5。现在其可以支持高达576颗芯片的直连。市场已经意识到了NVLink对于训练的重要性,但是在推理端,NVLink同样重要,因为LLM没法装载在单一GPU的显存中。公司用“off-the-chart”来形容NVLink加持下新芯片的推理表现。
6. 公司的长逻辑。
公司表示,其逻辑是:1)造出拥有最大die的芯片;2)将两个这种芯片连接起来;3)采用NVLink连接不同的GPU(在这里公司表示采用铜缆的原因是其能够scalable、性价比高);4)在上层搭载Infiniband / SpectrumX来提升整体的网络性能。公司认为传统的Ethernet极为低效,需要RoCE或者Ultra Ethernet才能勉强跟Infiniband抗衡。