专栏名称: NVIDIA企业开发者社区
NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台,通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。
目录
相关文章推荐
BNU统计  ·  助力就业,就业工作室阶段性工作总结 ·  10 小时前  
BNU统计  ·  统计赋能|第七季“新统学”培训来袭 ·  10 小时前  
武汉大学  ·  百亿票房男主现身武大(bushi) ·  6 天前  
51好读  ›  专栏  ›  NVIDIA企业开发者社区

开发者新闻 | 使用 NVIDIA NeMo 开发自定义企业生成式 AI

NVIDIA企业开发者社区  · 公众号  ·  · 2024-04-03 16:35

正文


高效的 CUDA 调试 : 将 NVIDIA Compute Sanitizer

与 NVIDIA 工具扩展结合使用并创建自定义工具



NVIDIA Compute Sanitizer 是一款功能强大的工具,可以为您节省时间和精力,同时提高 CUDA 应用程序的可靠性和性能。在 CUDA 环境中调试代码既具有挑战性又耗时,特别是在处理数千个线程时。计算消毒剂可以提供帮助!


在本系列的第一篇文章《高效 CUDA 调试 : 如何使用 NVIDIA Compute Sanitizer 寻找 Bug》中,我们讨论了如何开始使用一些 Compute Sanitizer 工具来在调试代码时检查内存泄漏和竞争条件。


在第二篇文章《高效 CUDA 调试 : 使用 NVIDIA Compute Sanitizer 进行内存初始化和线程同步》中,我们探索了检查内存初始化和线程同步的工具。


在这篇文章中,我们重点介绍了 Compute Sanitizer 的一些其他功能,即它与 NVIDIA 工具扩展 (NVTX) 的集成,用于标记代码,以方便更直接地使用 Compute Sanitizer。我们还讨论了 Compute Sanitizer 本身的 API,以便创建更多的工具来调试 CUDA 应用程序。




全文链接:

https://developer.nvidia.com/blog/efficient-cuda-debugging-using-compute-sanitizer-with-nvtx-and-creating-custom-tools/



使用 NVIDIA NeMo 开发自定义企业生成式 AI




生成式 AI 正在改变计算,为人类以自然、直观的方式与计算机交互铺平了新的道路。对于企业来说,生成式AI的前景是广阔的。企业可以利用其丰富的数据集来简化耗时的任务——从文本摘要和翻译到洞察预测和内容生成。但它们还必须应对采用方面的挑战。

例如,由通用大型语言模型 (LLM) 运行的云服务简化了探索。然而,这些功能可能并不总是与企业需求保持一致,因为模型是在广泛的数据集上训练的,而不是特定于领域的数据。

因此,组织正在使用无数的开源工具构建定制的解决方案。从验证兼容性到提供自己的技术支持,这可以延长企业成功采用生成式 AI 的时间。

NVIDIA NeMo 专为企业开发而设计,是一个端到端平台,可用于在任何地方构建自定义生成式AI应用程序。它提供了一组最先进的微服务,以实现完整的工作流程,从自动化分布式数据处理,到使用复杂的 3D 并行技术训练大规模定制模型,再到使用检索增强生成 (RAG) 连接到您的私人数据。

使用 NeMo 创建的自定义生成式 AI 模型可以部署在 NVIDIA NIM 中,NVIDIA NIM 是一套易于使用的微服务,旨在加速生成式AI在任何地方、本地或云端的部署。






请到「今天看啥」查看全文