-
NVIDIA GTC（GPU Technology Conference）是由NVIDIA举办的一年一度的全球性技术大会，旨在展示最新的GPU（图形处理单元）技术和应用，以及人工智能、数据科学、深度学习、虚拟化等领域的创新和发展。该大会汇聚了全球领先的科学家、工程师、研究人员、开发者和企业家，分享最新的技术成果、探讨行业趋势，并提供学习和交流的机会。
NVIDA GTC 2024 介绍的核心技术部分总结：
-
1. 引入 Blackwell 平台
：将 Blackwell 介绍为一个平台，而不是芯片，具有架构和性能方面的重大进展。
Blackwell 具有 2080 亿个晶体管和高速数据传输能力，
并具有高达每秒10TB的数据传输速度。最引人注目的是，Blackwell能够让两个处理器之间在物理上几乎无缝地连接，实现了处理器之间的无缝集成和通信。这一特性使得
Blackwell
在不同系统之间的部署和升级变得更加高效，同时也提高了整体系统的性能和稳定性。
Blackwell 在处理器集成和数据传输速度方面远远超过了 Hopper，为用户提供了更高的计算性能和更快的数据处理速度。
-
-
2. FormFit 兼容性
：Blackwell 设计为与现有系统（如 Hopper）兼容，确保了高效的集成和可伸缩性。
-
-
3.NVLink 开关
：NVLink 开关，具有 500 亿个晶体管，促进了 GPU 之间的高速通信，
NVLINK 开关具有4个NV连接口，每个连接口速度高达每秒1.8TB，实现了多个 GPU 之间的快速数据交换和并行计算。
实现了强大的人工智能计算能力。
-
-
4.合作伙伴关系和应用
：NVIDIA 与 AWS、谷歌、微软、甲骨文、SAP 等主要公司合作，优化了人工智能和云计算服务。例如，
Oracle是我们NVIDIA DGX Cloud的重要合作伙伴；
NVIDIA的AI服务是在微软Azure上运行，同时正在将NVIDIA生态系统引入Azure。
-
-
5.AI Foundry 项目
：NVIDIA AI Foundry 与各种公司合作，为不同行业开发 AI 解决方案，包括 SAP、ServiceNow、Cohesity、Snowflake、NetApp 和戴尔。
-
-
6.Omniverse 和机器人技术
：介绍 Omniverse，一个虚拟世界模拟引擎，以及 Jetson Thor 芯片和用于人形机器人学习的 GROOT 模型的进展。
-
-
7. 迪士尼 BDX 机器人
：特别嘉宾，迪士尼 BDX 机器人，由 Jetson 计算机提供动力，并在 Isaac Sim 中接受培训，现场展示了机器人技术的进步。
原演讲部分翻译：
我希望你明白这不是一场音乐会。你来到了一个开发者大会。会有很多科学、算法、计算机架构、数学等内容。Blackwell不是一个芯片的名字，而是一个平台的名字。人们认为我们制造GPU，事实上我们确实是。但GPU已经不再是过去的样子了。这是Hopper。Hopper改变了世界。这是Blackwell。没事，Hopper。2080亿个晶体管，你能看到，我也能看到，在两块芯片之间有一条细线。这是两块芯片首次以这种方式相邻，以至于这两块芯片认为它们是一个芯片。它们之间有10TB的数据。每秒10TB。所以这两块Blackwell芯片的两侧都不知道自己在哪一侧。
没有内存局部性问题，没有缓存问题。这只是一个巨大的芯片。它将投入……两种类型的系统。第一种是与Hopper兼容的FormFit功能。所以你在Hopper上滑动，然后插入Blackwell。这就是为什么加速过程中的挑战会如此高效的原因。全球各地都有Hopper的安装，它们可以使用相同的基础设施、相同的设计、相同的电力、电力、热力、软件，完全一样，轻松地恢复过来。所以这是当前HGX配置的一个Hopper版本。这是第二个Hopper的样子。现在，这是一个原型板。这是一个完全功能的板。我只是在这里小心。
这就是，我不知道，100亿美元吗？第二个是5美元。之后价格会更便宜，所以在座的客户，没关系。Grace CPU有一个超快的芯片对芯片链接。令人惊讶的是，这台计算机是第一台这样的计算机，这么多的计算，首先可以放在这么小的地方。其次，它是内存一致的。它们感觉就像是一个大家庭一起处理一个应用程序。我们为生成式AI时代创建了一个处理器。其中最重要的部分之一是内容令牌生成。我们称之为，这种格式是FP4。我们在推进计算的速度是疯狂的。但速度还不够快，所以我们又建立了另一个芯片。这个芯片只是一个令人难以置信的芯片。
我们称之为NVLink交换机。有500亿个晶体管。它几乎是Hopper的大小。这个交换机芯片内有四个NV链接口，每个链接口1.8TB/秒，而且它内部还有计算功能，正如我之前提到的那样。这个芯片是干什么用的？如果我们要建造这样一个芯片，我们可以让每个GPU都以全速与其他GPU通信。你可以建立一个这样的系统。现在这个系统，这个系统有点疯狂。这是一个DGX。这就是DGX现在的样子。只是让你知道，目前全球只有两三台异构计算机。所以这是一个单一机柜的异构计算机系统。
我想要感谢一些与我们一起合作的伙伴。AWS正在为Blackwell做准备。他们将建造第一台具有安全AI的GPU。他们正在建设一个222亿exaflops的系统。我们正在CUDA加速SageMaker AI。我们正在CUDA加速Bedrock AI。亚马逊机器人正在使用NVIDIA Omniverse和Isaac Sim与我们合作。AWS健康部分已将NVIDIA Health整合其中。因此AWS确实在加速计算方面投入了很多。谷歌正在为Blackwell做准备。GCP已经有了A100、H100、T4、L4，以及一整套NVIDIA CUDA GPU，他们最近宣布了跨平台运行的GEMA模型。我们正在努力优化和加速GCP的各个方面。我们正在加速Dataproc，这是用于数据处理的，他们的数据处理引擎，JAX、XLA、Vertex AI和MuJoCo用于机器人技术。
因此，我们正在与谷歌和GCP合作开展一系列项目。Oracle正在为Blackwell做准备。Oracle是我们NVIDIA DGX Cloud的重要合作伙伴，我们还正在共同努力加速一些对许多公司而言非常重要的事物，例如Oracle数据库。微软正在加速为Blackwell做准备。微软和NVIDIA有着广泛的合作伙伴关系。当你聊天时，当然，AI服务是在微软Azure上运行的。很有可能NVIDIA在后台进行推理和令牌生成。他们构建了最大的NVIDIA InfiniBand超级计算机，基本上是我们的数字孪生体或实际孪生体。我们正在将NVIDIA生态系统引入Azure。NVIDIA DGX Cloud到Azure。
NVIDIA Omniverse现在托管在Azure上。NVIDIA Healthcare也在Azure上。所有这些都与Microsoft Fabric深度集成和连接。现在，它是一个预先训练好的模型，所以它相当聪明。它被打包并优化以在NVIDIA的大型安装基础上运行，这是非常庞大的。里面有什么是令人难以置信的。你拥有所有这些预先训练好的、最先进的、开源的模型。它们可以是开源的。它们可以来自我们的合作伙伴之一。它们可以由我们创建，比如NVIDIA Moment。它与其所有依赖关系一起打包。因此CUDA、正确的版本。CUDNN、正确的版本。Tensor RT、LLM、在多个GPU上分发，三叉推理服务器，所有这些完全打包在一起。它根据你是否有单个GPU、多个GPU或多个节点的GPU进行了优化。
它为此进行了优化。并且它与简单易用的API连接在一起。这些包，这些令人难以置信的软件实体，将被优化和打包，我们将把它放在一个网站上。你可以下载它。你可以带走它。你可以在任何云中运行它。你可以在你自己的数据中心中运行它。如果适合的话，你可以在工作站上运行它。你所要做的就是来ai.nvidia.com。我们称之为NVIDIA推理微服务，但在公司内部，我们都称之为NIMS。我们有一个名为NEMO微服务的服务，它帮助你策划数据，准备数据，以便你能够教授这个AI，调整这个AI，然后保护它。你甚至可以评估答案，评估其在其他方面的性能。
因此，我们实际上是一个AI铸造厂。我们将为您和AI行业做TSMC为我们建造芯片的事情。因此，我们向TSMC提出了我们的大胆构想，他们将其制造出来，然后我们带走。所以这里也是完全一样的，AI铸造厂，三个支柱是NIMS、NEMO微服务和DGX Cloud。我们宣布，NVIDIA AI铸造厂正在与一些世界上伟大的公司合作。SAP产生了全球87%的商业交易。基本上，世界是由SAP运行的。我们也依赖于SAP。NVIDIA和SAP正在使用NVIDIA NEMO和DGX Cloud构建SAP Joule共同引导。ServiceNow，他们运营着全球85%的财富500强企业的人员和客户服务业务。他们正在使用NVIDIA AI铸造厂来构建ServiceNow助手虚拟助手。Cohesity备份了全球的数据。他们坐拥大量数据的金矿。数以亿计的数据，超过1万家公司。NVIDIA AI铸造厂正在与他们合作，帮助他们构建他们的Gaia生成式AI代理。Snowflake是一家在云端存储世界数字仓库的公司，每天提供超过30亿个查询，拥有1万家企业客户。Snowflake正在与NVIDIA AI铸造厂合作，使用NVIDIA NEMO和NIMS构建共同引导。NetApp，世界上近一半的文件存储在NetApp的本地。NVIDIA AI铸造厂正在帮助他们构建聊天机器人和共同引导，例如那些矢量数据库和检索器，使用NVIDIA NEMO和NIMS。我们与戴尔有着良好的合作伙伴关系。
