将Diffusion模型的推理速度提升了8倍，顺利拿到6家企业offer

吃果冻不吐果冻皮 · 公众号 · · 2024-12-17 11:45

正文

大家好，我是图书李，硕士毕业于苏州大学，今年6月毕业加入了大厂做模型推理的工作，毕业时拿到了华为南研所、腾讯北京等6家企业offer。

研一研二期间，我是做计算机视觉算法的，每天为提升模型在各大数据集上的精确率而绞尽脑汁，同时刷知乎时看到“计算机视觉算法岗的求职如同地狱般的难度”，于是开始纠结是否要继续做算法。直到参加在无锡召开的VALSE 2023，听到学术界和产业界的前辈们在分享模型轻量化、模型压缩以及推理加速的方向，自己非常兴奋，于是果断转到“模型压缩与推理加速 ”这个方向。

（南京大学吴建鑫老师的分享开拓了我的视野）

当时自己的判断主要基于以下几点：

1. 深度学习/大模型的算法层出不穷，如果想产生新的idea，每天就得跟进新的paper，非常痛苦；

2. 不管模型如何变化，它总要在端侧落地部署，而端侧落地部署所需要的技能点，迭代速度远远没有模型本身的迭代速度快，可以不用每天刷paper，并且这个方向经验越多越有价值；

3. 大模型大一统AI各大方向已成为趋势，大模型的落地部署更需要压缩与推理加速的技术，未来前景也比较好。

基于以上3条分析，自己也查了一下模型部署的岗位，需求确实不少，更加坚定了我转方向的决心。面对新方向，想要快速入门，跟着行业大佬学习就是最高效的途径，没有之一。于是，我就搜索到了深蓝学院联合腾讯高级研究员杨伟光老师开设的 『深度学习模型推理加速项目实践』 课程（Stable Diffusion与文心一言两个方向任选其一），整门课程自己认真学习了3个月，课程中要求的推理加速倍数为7.15倍，我尝试了课程中讲解的新的加速策略，最终将加速倍数提高到8.3倍左右（当时自己拿到了课程优秀学员）。

去年秋季，凭借着我在这门课程的项目经历，拿到了一家大模型独角兽的实习offer，进一步提升自己在模型压缩与推理方向的价值，有了更丰富的实习以及项目经历，今年春季找工作时，幸运地拿到了多家企业offer。

（大模型研发到上线的流程）

如果你也想脱离整天刷paper的痛苦，模型压缩与推理岗位值得你考虑。这里，我也特别推荐深蓝学院的 『深度学习模型推理加速项目实践』 课程（Stable Diffusion与文心一言两个方向任选其一），以实战的形式帮助大家学习diffusion类、Transformer类大模型的推理加速技巧。

（TRT SD模型 L4 sec3-4 FP16溢出调试实践）

扫码添加，了解详情

备注【 1216 】优先通过！

讲师介绍

杨伟光

原腾讯高级研究员

毕业后一直在腾讯从事深度学习加速及部署工作。近10年CUDA开发经验，近6年TensorRT 开发经验，Github TensorRT_Tutorial作者。

课程亮点

1.以实战的形式指导学员学习diffusion类模型的推理上线；

2.不仅教会大家如何做，更着重教懂大家为什么这么做；

3.课程配备完善的答疑服务，讲师直接答疑解惑。

课程大纲（Diffusion类模型）

将Diffusion模型的推理速度提升了8倍，顺利拿到6家企业offer

正文

请到「今天看啥」查看全文