专栏名称: NVIDIA企业开发者社区

NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台，通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。

开发者新闻 | 多模态检索增强生成的简单介绍

NVIDIA企业开发者社区 · 公众号 · · 2024-03-31 18:03

正文

多模态检索增强生成的简单介绍

检索增强生成 (RAG) 应用程序如果能够处理各种数据类型，包括表格、图形和图表，而不仅仅是文本，其效用将会呈指数级增长。这就需要一个能够通过一致的解释文本、视觉和其他形式的信息来理解和生成响应的框架。

在本文中，我们将讨论应对多种模式和方法以构建多模态 RAG 工作流所面临的挑战。为保持讨论简洁，我们只关注两种模式，即图像和文本。

为什么多模态很难实现？

企业 (非结构化) 数据通常分布在多种模式下，无论是充满高分辨率图像的文件夹，还是包含混合文本表格、图表、图形等的 PDF 文件。

在使用这种模式时，需要考虑两个要点：每种模式都有自己的挑战，以及如何跨模式管理信息？

全文链接：

https://developer.nvidia.com/blog/an-easy-introduction-to-multimodal-retrieval-augmented-generation/

借助 NVIDIA NeMo 微服务简化自定义生成式 AI 开发

在全球范围内，企业正在意识到生成式 AI 模型。他们竞相在聊天机器人、虚拟助理、编码副驾驶等各种应用中采用这些模型。

虽然通用模型适用于简单任务，但在满足各行各业的独特需求方面表现不佳。自定义生成式 AI 模型通过整合特定领域的知识、了解当地文化的细微差别以及与品牌声音和价值观保持一致，优于普通模型并满足企业需求。

NVIDIA NeMo 团队宣布推出抢先体验计划，该计划适用于 NVIDIA NeMo Curator、NVIDIA NeMo Customizer 和 NVIDIA NeMo Evaluator 微服务。这些微服务涵盖了从数据管理与定制到评估的整个开发阶段，能够简化用户构建自定义生成式 AI 模型的流程。

NVIDIA NeMo 是一个端到端平台，用于在任何地方开发自定义生成式 AI。它包括用于训练、微调、检索增强生成、护栏设置、数据管护和预训练模型的工具。NeMo 在整个技术堆栈中提供了从框架到高级 API 端点的产品（见图 1）