开发者新闻 | 使用 NVIDIA CUDA 进行高性能 GPU 编程的高级策略

Stephen Jones，一位领先的专家和杰出的 NVIDIA CUDA 架构师，他提供了指导和见解，深入探讨了将应用程序映射到大规模并行机器上的复杂性。超越基础知识，探索 GPU 编程的复杂性，他专注于实用技术，如并行程序设计和 GPU 优化的具体细节，以提高应用程序的效率和性能。

作为正在进行的系列讲座的一部分，本次会议以以前的讲座为基础。虽然不需要看过以前的课程，但您可以探索基础主题，如 GPU 计算如何工作，CUDA 编程如何工作以及如何编写 CUDA 程序。

无论您是 CUDA 新手还是希望提高 GPU 编程技能，本课程都将提供在高性能计算领域脱颖而出所需的理论知识和可操作策略。

全文链接：

https://developer.nvidia.com/blog/advanced-strategies-for-high-performance-gpu-programming-with-nvidia-cuda/

大型语言模型 (LLM) 的领域自适应预训练 (DAPT) 是构建特定领域模型的重要步骤。与现成的开放模型或商业模型相比，这些模型在特定领域的任务中表现出更大的能力。

最近，NVIDIA 发表了一篇关于 ChipNeMo 的论文，这是一个面向工业芯片设计应用的基础模型系列。ChipNeMo 模型是 Llama 2 系列模型在专有语料库和公开可用的特定领域数据上持续预训练的结果。

这篇文章将引导您完成管理训练数据集的过程，以 ChipNeMo 数据集为例，使用 NVIDIA NeMo Curator 从各种公开可用的资源中获取。