各位同学,今天有三来发布新书了,
名为《深度学习之模型优化:核心算法与案例实践》,
本次书籍为我写作并出版的第7本书籍。
笔者在2020年出版了
《深度学习之模型设计:核心算法与案例实践》
,通过理论与实践结合,首次讲解了数十年来主流卷积神经网络模型的设计思想,得到了业界的广泛关注,被众多读者所认可,介绍如下:
言有三新书来袭!业界首次深入全面讲解深度学习模型设计
2020年模型设计书(
全黑白
印刷,正文
322
页)
在当时,笔者其实已经规划好了模型使用方向的3本循序渐进的书籍,它们对应在深度学习项目中使用模型的基本流程。
第一步,我们需要针对目标任务选定一个合适的模型架构,然后训练出满足精度的模型,这就是模型设计;
第二步,我们需要基于第一步训练好的模型,在不显著降低其精度的前提下,对模型的冗余参数进行精简,对高精度计算进行低精度近似,这就是模型压缩;
第三步,将模型运用于实际的生产环境,即面向用户的产品,这就是模型部署。
本书是该系列的第二本,专门讲解针对模型进行精简的技术,包括紧凑模型设计,模型剪枝,模型量化,模型蒸馏,自动化模型设计等内容,这是模型能够在各类嵌入式平台使用的关键技术。
2024年模型优化书(
全黑白
印刷,正文
230
页)
本书是深度学习模型使用系列书籍中的第二本,内容上承前启后。本书是在该系列第一本书《深度学习之模型设计》的基础上讲解更深入的模型设计与压缩方法。
本书的第4章讲解了轻量级模型设计方法,本书的第8章讲解了自动化模型设计方法,它们都可以看作是对《深度学习之模型设计》书籍内容的补充。而剩下的模型剪枝,模型量化,模型蒸馏,则是模型压缩与优化最核心的技术。除此之外,我们也补充了模型可视化的内容,以便读者增加对模型的理解。
而在本书的第9章中,我们简单介绍了一些常用的开源模型优化和部署工具,这也是为下一本书,即模型部署书籍进行了提前的铺垫。
全书正文约230页,共计9章,目录如下:
第1章 引言
本章对人工智能技术发展的重要要素,数据、模型、框架、硬件进行了介绍,充足的数据配合优秀的模型才能学习到复杂的知识,框架和硬件则是完成模型学习不可或缺的软硬件设施,希望读者能够在阅读本章内容后,充分认识到人工智能本质上是一门综合性的工程技术。
第2章 模型性能评估
本章介绍了常用的模型性能评估指标,包括参数量、计算量、内存访问、计算速度等,最后介绍了工业界的一个模型压缩相关竞赛。
第3章 模型可视化
本章系统性地介绍了模型可视化的内容,包括模型结构可视化、参数与特征可视化、输入区域可视化以及激活模式可视化,通过掌握相关原理和3个典型的实践案例,我们可以更深入地理解模型的性能表现以及参数细节,从而为设计和改进模型结构提供指导思想。
第4章 轻量级模型设计
本章系统性地介绍了当下轻量级模型设计的方法,包括卷积核的使用和设计、卷积拆分与分组设计、参数与特征重用设计、动态自适应模型设计、卷积乘法操作的优化和设计、重参数化技术、新颖算子设计、低秩稀疏化技术。通过在一开始就使用轻量级的基础模型架构,可以大大减少后续对其进一步进行模型压缩与优化的工作量,因此这也是本书中非常核心的内容。
第5章 模型剪枝
本章介绍了模型剪枝的主要算法理论与实践,主要包括模型稀疏正则化技术,非结构化模型剪枝与结构化模型剪枝等算法,最后通过案例实践让读者掌握结构化模型剪枝中原始模型的训练与训练后的稀疏裁剪。
第6章 模型量化
本章介绍了模型量化的主要算法理论与实践,主要包括1bit量化,对称与非对称的8bit量化,混合量化等算法,最后通过案例实践让读者掌握对称的8bit量化方法代码实现以及基于TensorRT框架的模型量化与推理流程。
第7章 迁移学习与知识蒸馏
本章介绍了模型蒸馏的主要算法理论与实践,主要包括基于优化目标与结构匹配的模型蒸馏算法,最后通过案例实践让读者掌握经典的知识蒸馏框架的模型训练,比较学生模型在蒸馏前后的性能变化。
第8章 自动化模型设计
本章介绍了自动化模型设计中神经网络结构搜索技术,主要包括基于栅格搜索的神经网络搜索方法,基于强化学习的神经网络搜索方法,基于进化算法的神经网络搜索方法,可微分神经网络搜索方法。自动化模型设计是难度较高的工程技术,也是模型设计与压缩的最终发展形态。
第9章
模型优化与部署工具
本章介绍了当下工业界常用的开源模型优化和部署工具,主要包括Tensorflow、PaddlePaddle、Pytorch生态相关的模型优化工具,各类通用的移动端模型推理框架以及ONNX标准与NVIDIA的模型优化与部署工具TensorRT,并基于NCNN框架在嵌入式硬件上进行了部署实战。熟练掌握好模型优化与部署工具,是深度学习算法工程师的必修课,本章内容可供大家作为入门参考,更加系统的模型部署内容,将在本系列书籍的下一本中进行讲解。
详细内容请大家直接阅读书籍。
本书内容由浅入深,讲解图文并茂,紧随工业界和学术界的最新发展,理论和实践紧密结合,给出了大量的图表与案例分析。本书抛开了过多的数学理论,完整地剖析了模型压缩与优化的主流技术,不是只停留于理论的阐述和简单的结果展示,更是从夯实理论到完成实战一气呵成。相信读者跟随着本书进行学习,将会对深度学习领域的模型压缩技术有更深的理解。
本书是一本专门讲解深度学习模型压缩与优化,尤其是针对深度卷积神经网络的书籍,本书内容属于深度学习领域中高级内容,对读者的基础有一定的要求:
-
首先,必须熟悉深度学习理论知识,包括但不限于神经网络,卷积神经网络,计算机视觉基础等。
-
其次,要有深度学习模型设计基础,了解主流的卷积神经网络设计思想,最好掌握了本系列书籍的第一本《深度学习之模型设计》的内容。
-
最后,熟练掌握Python等编程能力,掌握Pytorch等主流的深度学习框架。
本书适合以下读者:
-
学习深度学习相关技术的学生。
-
讲授深度学习模型设计与压缩优化课程的老师,培训机构。
-
从事或者即将从事深度学习相关工作的研究人员和工程师。
-
对深度学习模型的优化思想感兴趣,想系统性了解和学习的各行业人员。
【本书所有实战算法代码统一使用Pytorch框架,TensorRT+Jetson平台推理代码使用Python语言,NCNN+EAIDK-610开发版部署代码使用C++语言】
。
现在是时候来谈谈如何获得本书了,
本书定价89元
,当前有4种方法可以获得。
(1) 在本文下方留言,至
下周一
早上十点(7月8日10:00)
,点赞最高的第1到5名,可获赠书【专属签名版书籍】一本。
(2) 在有三AI小鹅通知识店铺购买
【专属签名版书籍】
(签章为红黑色,随机发货,价格80元)
,购买完成后
【
凭订单记录联系有三本人微信Longlongtogo】
,发送收货地址。
(发票可开)
。