Jim Fan评价：我最近见过的最酷的自主编码代理：使用 AI 编写更好的 CUDA 内核来加速 AI。AutoML 回来了！你可以利用计算资源做的最大的事情就是提高同一计算的未来生产力。
它将所有点排列成超人的样子：
1. CUDA 的调试非常繁琐，需要大量的领域专业知识，有时感觉像炼金术；
2. 奖励函数定义非常明确：数字正确性和挂钟速度；
3. 由于检查正确性很轻且评估奖励很简单，因此进化周期很快；
4. 令人尴尬的并行搜索。
我还发现“创新档案”的概念很有趣，它与我们在玩 Minecraft 的代理（Voyager）中使用的“技能库”非常相似。基本上，这是一个完全由LLM编写的代码库，它探索了 CUDA 设计空间并保存了最佳代码片段。它是从进化搜索过程中学习到的产物，无需更新参数权重。
做得好，Sakana AI！
此外，最近还有一项独立研究，其中 NVIDIA 研究人员也应用了强推理 LLM 来改进 CUDA 内核。链接见评论区
它将所有点排列成超人的样子：
1. CUDA 的调试非常繁琐，需要大量的领域专业知识，有时感觉像炼金术；
2. 奖励函数定义非常明确：数字正确性和挂钟速度；
3. 由于检查正确性很轻且评估奖励很简单，因此进化周期很快；
4. 令人尴尬的并行搜索。
我还发现“创新档案”的概念很有趣，它与我们在玩 Minecraft 的代理（Voyager）中使用的“技能库”非常相似。基本上，这是一个完全由LLM编写的代码库，它探索了 CUDA 设计空间并保存了最佳代码片段。它是从进化搜索过程中学习到的产物，无需更新参数权重。
做得好，Sakana AI！
此外，最近还有一项独立研究，其中 NVIDIA 研究人员也应用了强推理 LLM 来改进 CUDA 内核。链接见评论区
AI自己写AI来了↓
来自Sakana AI的突破性技术——AI CUDA工程师：自动化CUDA内核发现、优化及组合
1. Sakana AI坚信利用AI自动化AI的开发是提升AI系统性能的关键。其最新推出的AI CUDA工程师，是一种能自动生成高度优化的CUDA内核的代理系统，其性能提升达到10-100倍，极大超越了PyTorch中常见的机器学习操作。
2. 技术核心：AI CUDA工程师使用先进的大型语言模型（LLMs），通过进化优化技术，自动将标准的PyTorch代码转换为高度优化的CUDA内核。这一进程不仅自动化了PyTorch模块到CUDA内核的转换，并且发现的CUDA内核在运行时显著快于现有生产中常用的CUDA内核，速度提升高达5倍。
3. 实现步骤：
- 阶段1和2（转换与翻译）：首先将PyTorch代码翻译为功能性CUDA内核。
- 阶段3（进化优化）：借鉴生物进化理论，“适者生存”的原则确保产生最优CUDA内核。
来自Sakana AI的突破性技术——AI CUDA工程师：自动化CUDA内核发现、优化及组合
1. Sakana AI坚信利用AI自动化AI的开发是提升AI系统性能的关键。其最新推出的AI CUDA工程师，是一种能自动生成高度优化的CUDA内核的代理系统，其性能提升达到10-100倍，极大超越了PyTorch中常见的机器学习操作。
2. 技术核心：AI CUDA工程师使用先进的大型语言模型（LLMs），通过进化优化技术，自动将标准的PyTorch代码转换为高度优化的CUDA内核。这一进程不仅自动化了PyTorch模块到CUDA内核的转换，并且发现的CUDA内核在运行时显著快于现有生产中常用的CUDA内核，速度提升高达5倍。
3. 实现步骤：
- 阶段1和2（转换与翻译）：首先将PyTorch代码翻译为功能性CUDA内核。
- 阶段3（进化优化）：借鉴生物进化理论，“适者生存”的原则确保产生最优CUDA内核。
