最近热门专栏推荐
最近热门专栏推荐
51好读 › 主题  ›  3D
【翻译】使用PyTorch FSDP最大化训练吞吐量
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
图文详解 Continuous Batch:不写 CUDA Kernel 也能成倍优化推理效率
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
CUDA-MODE 课程笔记 第14课,Triton 实践指南
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
【翻译】CUDA-Free Inference for LLMs
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
揭秘 PagedAttention(上):如何管理 Paged KV Cache
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
图解KV Cache:加速大模型推理的幕后功臣
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
Flex Attention API 应用 Notebook 代码速览
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
将GLM-4-Plus大模型应用到Cursor中
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
大语言模型推理,用动画一看就懂!
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
【翻译】torch.compile 的详细示例解析教程
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
CUDA-MODE 课程笔记 第13课:Ring Attention
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
大模型直接预测下一个句子,更快、更准、更长!
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
【PyTorch 奇技淫巧】介绍 depyf:轻松掌握 torch.compile
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
一文读懂 ONNX、TensorRT、OpenVINO部署框架
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
【翻译】CUTLASS 教程:掌握 NVIDIA® 张量内存加速器 (TMA)
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
一文读懂KVCache
GiantPandaCV  ·  公众号  · 3D  ·  2 月前  · 
人人都能看懂的DPO数学原理
GiantPandaCV  ·  公众号  · 3D  ·  2 月前  ·