专栏名称: NVIDIA企业开发者社区
NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台,通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。
目录
相关文章推荐
蓝钻故事  ·  飙升9.6!500万人力捧的「续命神作」,没 ... ·  10 小时前  
跨境电商鹰熊汇  ·  跨境卖家开始用DeepSeek卖货 ·  13 小时前  
新京报书评周刊  ·  三十年写一本书,序言占了一百页 ·  3 天前  
51好读  ›  专栏  ›  NVIDIA企业开发者社区

开发者新闻 | 使用 NVIDIA NIM 构建您的第一个人机交互 AI 代理

NVIDIA企业开发者社区  · 公众号  ·  · 2024-12-06 10:05

正文


使用 NVIDIA NIM 构建您的第一个人机交互 AI 代理


由大型语言模型 (LLM) 驱动的 AI 代理帮助组织简化和减少人工工作量。这些代理使用多层次的迭代推理来分析问题、设计解决方案并使用各种工具执行任务。与传统的聊天机器人不同,LLM 驱动的代理通过有效地理解和处理信息来自动化复杂的任务。为了避免特定应用中的潜在风险,在与自主 AI 代理合作时,保持人类监督仍然至关重要。

在这篇文章中,您将学习如何使用 NVIDIA NIM 微服务构建人机交互 AI 代理,NVIDIA NIM 微服务是一种针对 AI 推理优化的加速 API。这篇文章以社交媒体用例为特色,展示了这些多功能 AI 代理如何轻松处理复杂任务。使用 NIM 微服务,您可以将高级 LLM 无缝集成到您的工作流程中,为 AI 驱动的任务提供所需的可扩展性和灵活性。无论您是创建促销内容还是自动化复杂的工作流程,本教程都旨在加快您的流程。

要观看演示,请观看如何使用 NVIDIA NIM 在 5 分钟内构建一个简单的 AI 代理。




全文链接:

https://developer.nvidia.com/blog/build-your-first-human-in-the-loop-ai-agent-with-nvidia-nim/

使用 NVIDIA NIM 部署微调的 AI 模型


对于使用特定领域数据调整 AI 基础模型的组织来说,快速创建和部署微调模型的能力是通过企业生成 AI 应用程序高效交付价值的关键。

NVIDIA NIM 为最新的 AI 基础模型提供预构建的、性能优化的推理微服务,包括使用参数高效微调 (PEFT) 定制的模型的无缝部署。

在某些情况下,理想的方法是使用持续预训练、DPO、监督微调 (SFT) 或模型合并等方法,在这些方法中,底层模型权重在训练或定制过程中直接调整,这与具有低秩自适应 (LoRA) 的 PEFT 不同。在这些情况下,必须更新模型的推理软件配置,以获得给定新权重的最佳性能。

NIM 可以自动构建一个针对本地环境中调整后的模型和 GPU 进行性能优化的 TensorRT-LLM 推理引擎,然后将其加载以作为单步模型部署过程的一部分运行推理,而不是让您承担这个通常很长的过程。






请到「今天看啥」查看全文