专栏名称: NVIDIA企业开发者社区

NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台，通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。

开发者新闻 | 使用 Co-Visitation 矩阵和 RAPIDS cuDF 构建高效的推荐系统

NVIDIA企业开发者社区 · 公众号 · 科技自媒体 · 2024-08-30 19:36

正文

使用 Co-Visitation 矩阵 和

RAPIDS cuDF 构建高效的推荐系统

推荐系统在跨各种平台实现个性化用户体验方面发挥着至关重要的作用。这些系统旨在根据用户过去的行为和偏好预测和推荐用户可能与之交互的商品。构建有效的推荐系统需要理解和利用庞大、复杂的数据集，这些数据集可捕获用户和商品之间的交互。

本文将向您展示如何基于共访问矩阵构建简单而强大的推荐系统。构建共访问矩阵的主要挑战之一是处理大型数据集时涉及的计算复杂性。使用像 pandas 等库的传统方法效率低下且速度缓慢，尤其是在处理数百万甚至数十亿次交互时。这正是 RAPDIS cuDF 的用武之地。RAPIDS cuDF 是一个 GPU DataFrame 库，提供了类似 pandas 的 API，用于加载、过滤和操作数据。

推荐系统和联合访问矩阵

推荐系统是一种机器学习算法，旨在为用户提供个性化建议或推荐。这些系统用于各种应用，包括电子商务 (Amazon、OTTO)、内容流式传输 (Netflix、Spotify)、社交媒体 (Instagram、X、TikTok) 等。这些系统的作用是帮助用户发现符合其兴趣和偏好的产品、服务或其他内容。

用于构建推荐系统的数据集通常包含以下内容：

N 要推荐的项目。N 可能非常大（甚至数百万）。

用户与物品之间的交互。对于给定用户的这种交互序列称为会话。然后目标是推断用户将与下一个交互的物品。

图1显示了用户与项目 6543、242、5381 和 5391 进行交互的示例会话。推荐系统的目标是预测用户将与下一个交互的项目。评估性能的一种常见方法是使用模型对 k 进行的猜测，计算 recall@k 。模型可以通过真值项目数量归一化检索的真值项目数量来计算 Recall。

在会话期间，用户通常会与多个商品进行交互。协同访问矩阵会对一起出现的商品进行计数，大小为 N x N。通过检查哪些商品与会话中的商品同时频繁出现，可以轻松使用协同访问矩阵来提出建议。例如，在图 1 所示的会话中，如果商品 2834 经常与商品 6543 一起购买，则使用此矩阵提出建议是非常合适的。

全文链接：

https://developer.nvidia.com/blog/build-efficient-recommender-systems-with-co-visitation-matrices-and-rapids-cudf/

NVIDIA TensorRT 模型优化器

v0.15 提高了推理性能并扩展了模型支持

NVIDIA 宣布了最新的 NVIDIA TensorRT 模型优化器 v0.15 版本，这是一个最先进的模型优化技术量化工具包，包括量化、稀疏和修剪。这些技术降低了模型的复杂性，并使下游推理框架 (如 NVIDIA TensorRT-LLM 和 NVIDIA TensorRT )能够更有效地优化生成式 AI 模型的推理速度。

这篇文章概述了最近 TensorRT 模型优化器版本的一些关键功能和升级，包括缓存扩散，使用 NVIDIA NeMo 的新的量化感知训练工作流，以及 QLoRA 支持。

缓存扩散

此前，TensorRT 模型优化器 (简称模型优化器) 通过其 8 位训练后量化 (PTQ) 技术为 NVIDIA TensorRT 设定了稳定扩散 XL 性能的标准。为了进一步普及扩散模型的快速推理，Model Optimizer v0.15 增加了对缓存扩散的支持，可以与 FP8 或 INT8 PTQ 一起使用，以在推理时进一步加速扩散模型。