专栏名称: 吃果冻不吐果冻皮
专注于AI工程化(LLM、MLOps、LLMOps、RAG、Agent)落地。
目录
相关文章推荐
达州发布  ·  就在下周!达州将大幅回暖...... ·  20 小时前  
神嘛事儿  ·  我回答了 @用户7699215969 ... ·  2 天前  
四川日报  ·  打虎!正部级蒋超良被查 ·  2 天前  
51好读  ›  专栏  ›  吃果冻不吐果冻皮

突破AI部署瓶颈:模型压缩技术如何助力高效AI应用

吃果冻不吐果冻皮  · 公众号  ·  · 2024-07-10 11:50

正文

大模型时代,模型参数量动辄百亿,甚至千亿,比如 GPT-3 的参数量达到了 1750 亿。 1750 亿个参数,如果采用 fp16 存储,那么模型的大小约为 325.5 G 。现有最强的计算平台也很难满足其显存要求。

因此,模型 “瘦身”已经成了工业界必要的技术,只不过它有一个更正式的名字,叫 模型压缩

模型压缩技术 采用如 量化和稀疏 等策略,优化了深度神经网络的部署效率。实际上,无论是 大型语言模型、扩散模型 还是 多模态大型模型 ,它们的成功部署都依赖于模型压缩技术。

在AI模型火爆的今天,学习模型压缩技术更有助于打通整个AI模型的生产环节,加深对实际项目落地流程的理解。 遗憾的是,绝大多数AI领域的工作者更注重训练过程,反而 忽视了模型压缩的价值 ,同时 模型压缩技术路线较多,入门门槛较高 ,进一步导致目前市面上相关 人才稀缺

深蓝学院联合 商汤科技模型工具链团队 推出 『深度神经网络模型压缩 (技术解析与实战经验分享)』 课程。 通过该课程的学习,同学们可以逐步理解并掌握模型压缩的相关技术知识,并独立进行相关工作的开发和研究。

扫码添加
了解具体详情

01
讲师介绍

02
课程亮点

1.系统讲解深度神经网络中的模型压缩典型算法

2.代码级讲解多种压缩工具的原理细节和使用方式

3.覆盖视觉和大语言模型的全方位压缩知识和实际部署经验

03
课程大纲
04
课程收获

1.掌握模型压缩领域的典型算法的原理和技术细节

2.掌握对模型压缩工具的熟练使用和内在原理

3.通过实战部署操作对模型压缩技术有全方位的理解和经验掌握

05
还能收获

1. 优质的学习圈子

你的同学大多是来自985、211及海外院校硕博,在这里大家一起学习、进行讨论与研究。独一无二的优质圈子将是你未来学习与就业的宝贵资源

2. 企业认可的证书

学完课程后将有机会收获优秀学员证书、毕业证书,为你的简历加分添彩。







请到「今天看啥」查看全文