专栏名称: 吃果冻不吐果冻皮
专注于AI工程化（LLM、MLOps、LLMOps、RAG、Agent）落地。
目录
相关文章推荐
云南市场监管  ·  一次性筷子都是用二氧化硫漂白的？！还能用吗？ ·  12 小时前  
烂板套利  ·  人形机器人，具有唯一性的7家公司 ·  16 小时前  
烂板套利  ·  人形机器人，具有唯一性的7家公司 ·  16 小时前  
龙船风电网  ·  这家风电企业改回原名！刚被判赔超2957万元！ ·  昨天  
龙船风电网  ·  这家风电企业改回原名！刚被判赔超2957万元！ ·  昨天  
媒正经  ·  工信部最新部署：加快发展机器人产业、塑造高质 ... ·  2 天前  
媒正经  ·  工信部最新部署：加快发展机器人产业、塑造高质 ... ·  2 天前  
上海药监  ·  沪药法治大讲堂——化妆品安全评估，你“点单” ... ·  2 天前  
51好读  ›  专栏  ›  吃果冻不吐果冻皮

大模型迎来商业化大考，推理与部署岗的春天来了

吃果冻不吐果冻皮  · 公众号  ·  · 2024-11-22 11:45

正文

“大模型六小虎”通常被业界用来形容6家头部大模型创业公司，包括智谱、百川智能、零一万物、阶跃星辰、月之暗面 、 MiniMax 。 前几日 有传言称，“大模型六小虎”中已 有两家企业停止预训练。
大模型每次预训练的成本都在数百万美元， 因此 停止预训练， 最重要的原因 是 节省成本，同时将更多的资源投入到大模型应用的商业化落地上。毕竟现在经济环境下，一家企业论文发的再多也无法变现（实现商业闭环），反而会被诟病不落地。基于此， 端侧大模型 、 大模型应用 是近几年以及未来的主流热点。
端侧大模型以及大模型应用，都离不开高效地推理与部署。 推理与部署，就是 将算法移植到嵌入式设备端或者服务器端，会想尽办法对算子进行优化和加速，以满足实时性的需求。部署岗位通常要求的技能点为 熟练掌握当下主流的加速工具 CUDA 与推理框架 TensorRT 的使用技巧。

然而学习CUDA与TensorRT并不容易，尽管NVIDIA提供了相关文档，但是 对新入门的小伙伴并不友好，初学者学习效率低，不得不中途放弃 。 为此，深蓝学院与前腾讯高级研究员一起研发了 《 深度神经网络加速：cuDNN 与 TensorRT 》 的课程，细致讲解CUDA运算的理论支撑与实践，以及cuDNN、TensorRT这两个当下最热门的深度神经网络加速的库。

扫码报名，了解详情

以下附上部分课程 预览：
（编译TRT git源码sampleMNIST）

0 1
强大的师资力量
杨伟光 ，原腾讯高级研究员
毕业后一直在腾讯从事深度学习模型加速上线工作。近10年 CUDA 开发经验， 近5年 TensorRT 开发经验；

Github TensorRT_Tutorial 作者。

康博 ，高级研究员
主要方向为自然语言处理、智能语音及其在端侧的部署。博士毕业于清华大学，在各类国际AI会议和刊物中发表论文10篇以上，多次获得NIST主办的国际比赛top 2成绩。近年来主要研究方向为AI在场景中的落地应用。

0 2
详尽的课程大纲


0 3
我们的课程优势

1. 内容精简： 主讲CUDA与TensorRT的核心原理与实用操作

2 . 知识前沿： 本期课程涵盖当下主流的深度学习模型加速工具

3. 氛围活跃： 与数百位同学共同交流学习

04
本课程适合人群
1.






请到「今天看啥」查看全文


推荐文章
云南市场监管  ·  一次性筷子都是用二氧化硫漂白的？！还能用吗？
12 小时前
烂板套利  ·  人形机器人，具有唯一性的7家公司
16 小时前
烂板套利  ·  人形机器人，具有唯一性的7家公司
16 小时前
龙船风电网  ·  这家风电企业改回原名！刚被判赔超2957万元！
昨天
龙船风电网  ·  这家风电企业改回原名！刚被判赔超2957万元！
昨天
媒正经  ·  工信部最新部署：加快发展机器人产业、塑造高质量发展新动能！
2 天前
媒正经  ·  工信部最新部署：加快发展机器人产业、塑造高质量发展新动能！
2 天前
上海药监  ·  沪药法治大讲堂——化妆品安全评估，你“点单”我“服务”第三期开始报名
2 天前
河北交通广播  ·  【992 | 身边】石家庄惊现假路牌！
8 年前
伊犁我的家  ·  为什么有人开车脾气不好？看完这个你就懂了
7 年前
30投行  ·  中金公司被举报隐瞒IPO重大纠纷
7 年前
占豪  ·  感动！朋友圈最动人的军人照片，看到第几张你泪流满面？
7 年前
乐趣微生活  ·  这帮逗比，笑残了！【NO1】
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!