最近热门专栏推荐
最近热门专栏推荐
51好读 › 主题  ›  3D
【ml-engineering 翻译系列】计算加速器之gpu
GiantPandaCV  ·  公众号  · 3D  ·  4 天前  · 
图解OpenRLHF中基于Ray的分布式训练流程
GiantPandaCV  ·  公众号  · 3D  ·  6 天前  · 
GTX 4090 的 cuda graph 诡异
GiantPandaCV  ·  公众号  · 3D  ·  1 周前  · 
PyTorch 通讯实践
GiantPandaCV  ·  公众号  · 3D  ·  1 周前  · 
CUDA-MODE 课程笔记 第29课 Triton内部机制
GiantPandaCV  ·  公众号  · 3D  ·  1 周前  · 
ModelServer:基于 SGLang 的前端分发系统
GiantPandaCV  ·  公众号  · 3D  ·  2 周前  · 
如何正确理解NVIDIA GPU利用率的概念
GiantPandaCV  ·  公众号  · 3D  ·  2 周前  · 
RMSNorm的精度陷阱:记一次LLM推理精度调查
GiantPandaCV  ·  公众号  · 3D  ·  2 周前  · 
图解大模型训练系列:序列并行4,Megatron Context Parallel
GiantPandaCV  ·  公众号  · 3D  ·  2 周前  · 
CUDA-MODE 课程笔记 第28课 用在生产环境中的LinkedIn Liger kernel
GiantPandaCV  ·  公众号  · 3D  ·  3 周前  · 
GPU 矩阵乘实际可达最大FLOPS测量工具
GiantPandaCV  ·  公众号  · 3D  ·  3 周前  · 
NCCL 与 NVIDIA TOPO
GiantPandaCV  ·  公众号  · 3D  ·  3 周前  · 
基于 chunked prefill 理解 prefill 和 decode 的计算特性
GiantPandaCV  ·  公众号  · 3D  ·  4 周前  · 
CUDA-MODE课程笔记 Lecture 16 通过CUDA C++核心库把llm.c移植为llm.cpp
GiantPandaCV  ·  公众号  · 3D  ·  4 周前  · 
SGLang 后端原文解析
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
AwesomeCLIP---100+篇CLIP相关工作整理
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
小白视角:利用 vllm serve 新的 Embedding Model
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
小白视角:利用 SGL 来 Serve Embedding Model
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  · 
小白视角:vllm 迁移到 SGLang 的体验与收获
GiantPandaCV  ·  公众号  · 3D  ·  1 月前  ·