专栏名称: NVIDIA企业开发者社区

NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台，通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。

开发者新闻 | 使用RAPIDS和Ray加速GPU分析

NVIDIA企业开发者社区 · 公众号 · · 2025-01-08 09:26

正文

使用 RAPIDS 和 Ray 加速 GPU 分析

RAPIDS 是一套开源的 GPU 加速数据科学和AI库，可以很好地支持 Spark 和 Dask 等分布式引擎进行扩展。Ray 是一个流行的开源分布式 Python 框架，通常用于扩展 AI 和机器学习 (ML) 应用程序。Ray 特别擅长于简化和扩展训练和推理管道，并且可以轻松地针对 CPU 和 GPU 设备。

在这篇文章中，我们将探讨如何使用 Ray 和 RAPIDS 来加速新的分析管道。

Ray Actors

虽然 Ray 为训练和服务 ML 模型提供了高级抽象，但我们将尝试 Ray 的核心，特别是 Ray Actors。Actors 是有状态的工作者，这意味着每个工作者都可以存储、管理和修改存储的任何数据。例如，如果您想使用 cuDF 在 GPU 上加载一些数据，您可以这样做：

@ray.remote(num_gpus=1)

class cuDFActor:

def __init__(self):

...

def read_parquet(self, filepath: str, columns: list = None) -> cudf.DataFrame:

return cudf.read_parquet(filepath, columns=columns)

# Start 4 Workers

pool_size = 4

actor_pool = [cuDFActor.remote() for i in range(pool_size)]

这个例子使用 Ray 在四个 GPU 和 cuDF 上创建四个 actor 来加速 IO。这个示例可以与其他 RAPIDS 优化（使用 RMM 进行内存配置）或常见的 ETL 例程一起使用，例如过滤/自定义和用户定义函数: cudf ray-actor示例。

Ray Actors 非常通用，可以快速地用于并行化 Python 库，也可以轻松地与现有的分布式算法集成。此外，使用 Ray，您可以轻松地在多个 GPU 和多个节点扩展此工作。

全文链接：

https://developer.nvidia.com/blog/accelerating-gpu-analytics-using-rapids-and-ray/

使用新的 NVIDIA NeMo Curator

分类器模型 增强您的训练数据

分类器模型专门用于将数据分类为预定义的组或类，在优化数据处理管道以进行微调和预训练生成式 AI 模型方面发挥着至关重要的作用。它们的价值在于通过过滤掉低质量或有毒的数据来提高数据质量，确保只有干净和相关的信息提供给下游流程。

除了过滤之外，分类器模型还通过数据丰富、使用元数据（如域、类型或内容细节以及创造性的特定质量混合）注释数据来增加价值。这些功能不仅简化了数据准备，而且还提供了关于用户在生产中如何使用模型的见解。例如，分类器可以帮助理解用户提示的复杂性和领域，开发人员可以将这些提示路由到最合适的模型。

NVIDIA NeMo Curator 团队此前发布了两个分类器模型：

域分类器： 一种文本分类模型，用于将文档分类为 26 个域类之一

质量分类器 DeBERTa：一种文本分类模型，它根据文档的质量将文档分为三类（高、中、低）

除了 BERT 风格的分类器模型，NeMo Curator 还支持基于 n-gram 的词袋分类器，如 fastText 和使用大型语言模型 (LLM) 和奖励模型的数据标记。

在这篇文章中，我们讨论了四种新的 NeMo Curator 分类器模型：

提示任务和复杂性分类器：

开发者新闻 | 使用RAPIDS和Ray加速GPU分析

正文

请到「今天看啥」查看全文