专栏名称: NVIDIA企业开发者社区

NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台，通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。

开发者新闻 | NVIDIA 文本嵌入模型位列 MTEB 排行榜榜首

NVIDIA企业开发者社区 · 公众号 · · 2024-07-10 18:32

正文

NVIDIA 文本嵌入模型位列 MTEB 排行榜榜首

NVIDIA 的最新嵌入模型 NV-Embed —以 69.32 的分数创下了嵌入准确率的新纪录海量文本嵌入基准测试 (MTEB) 涵盖 56 项嵌入任务。

NV-Embed 等高度准确有效的模型是将大量数据转化为可操作见解的关键。NVIDIA 通过 NVIDIA API 目录提供性能一流的模型。

由 LLM 提供支持的 “ 与您的数据对话 ” 流程严重依赖 embedding model， 例如 NV-Embed ，它通过将英语单词转换为文本中信息的压缩数学表示形式来创建非结构化文本的语义表示。这种表示通常存储在 vector database中，以便日后使用。

当用户提出问题时，系统会对问题的数学表征和所有基础数据块进行比较，以检索最有用的信息来回答用户的问题。

* 请注意，此特定模型只能用于非商业用途 。

全文链接：

https://developer.nvidia.com/blog/nvidia-text-embedding-model-tops-mteb-leaderboard/

使用 NVIDIA CUDA Toolkit 12.4 编译器创建运行时 Fatbin

CUDA Toolkit 12.4 引入了一个新的 nvFatbin 库，用于在运行时创建 fatbins。Fatbins，也称为 NVIDIA 设备代码二进制文件，是存储多个版本的代码以存储不同架构的容器。特别是，NVIDIA 使用它们来捆绑不同 GPU架构的代码，例如 sm_61 和 sm_90。

到目前为止，要生成 fatbin，您必须依赖命令行工具 fatbinary，该工具不适合动态代码生成。这使得动态生成 fatbins 变得困难，因为您需要将生成的代码放入一个文件中，使用 exec 或类似的方法调用 fatbinary，然后处理输出。这大大增加了动态生成 fatbins 的难度，并导致多次尝试通过各种容器来模仿 fatbins。