专栏名称: 极市平台

极市平台是由深圳极视角推出的专业的视觉算法开发与分发平台，为视觉开发者提供多领域实景训练数据库等开发工具和规模化销售渠道。本公众号将会分享视觉相关的技术资讯，行业动态，在线分享信息，线下活动等。网站: http://cvmart.net/

极市直播回放第131期丨三行代码，即插即用！InfoBatch：无损数据集动态剪枝加速（ICLR'24 Oral）

极市平台 · 公众号 · · 2024-05-09 22:00

正文

↑ 点击蓝字关注极市平台

本次分享我们邀请到了 新加坡国立大学 博士生秦紫恒 ，为大家详细介绍他们中稿ICLR 2024 Oral的工作：

InfoBatch:Lossless Training Speed Up by Unbiased Dynamic Data Pruning

论文地址： https://arxiv.org/abs/2303.04947

GitHub： https://github.com/NUS-HPC-AI-Lab/InfoBatch

随着深度学习的网络参数量和数据集规模增长，算力需求日益增加，如何节省训练成本正在成为逐渐凸显的需求。现有的数据集压缩方法大多开销较高，且难以在达到无损的情况下获得可观的节省率；加权抽样的相关方法则对于模型和数据集的特点较为敏感且依赖于重复抽样假设，在实际应用中难以和已完成调参的学习率调整策略结合。两种从数据角度出发的方法在实践中很难真正帮助节省计算。

在本篇工作中，研究者从数据迭代这个角度切入进行了研究。长久以来，数据集的迭代方式大都采用随机迭代。对此，作者提出了 InfoBatch 框架，根据网络对样本的拟合情况进行动态剪枝采样的方法，并利用重缩放（ rescaling ）来维持剪枝后的梯度更新（ Gradient Update ）期望，以此在性能无损的情况下提高训练效率，加快训练速度。

在 CIFAR10/100 （ ResNet, 分类）、 ImageNet-1K （ ResNet/ViT, 分类）和 ADE20K （ UperNet, 语义分割）上， InfoBatch 无损节省了 40% 的总开销（时间和计算）；在检测任务上（ YOLOv8 ）， InfoBatch 无损节省了 30% ；对于 MAE 预训练 (ViT) 和 FFHQ 图片生成（ Latent Diffusion ） , InfoBatch 分别节省了 24.8% 和 27% 的开销。在 LLaMA 的指令微调上 , InfoBatch 成功在静态压缩方法 DQ[1] 的基础上额外节省了 20% 开销，总开销为原始的 8% ，并且和 LoRA 兼容。目前，已有多家头部云计算服务公司与尤洋团队进行交流。

后台回复“ 极市直播 ”或点击 阅读原文 即可获取PPT

➤详情传送门

极市直播预告｜三行代码，即插即用！InfoBatch：无损数据集动态剪枝加速（ICLR'24 Oral）

➤ 回放视频在这里☟

https://www.bilibili.com/video/BV1Mi421C7m5/

➤ PPT内容截图（后台回复“ 极市直播 ”或点击 阅读原文 即可获取PPT）

➤ 往期视频在线观看

B站： http://space.bilibili.com/85300886#!/

腾讯视频： http://v.qq.com/vplus/8be9a676d97c74ede37163dd964d600c

极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办 130

极市直播回放第131期丨三行代码，即插即用！InfoBatch：无损数据集动态剪枝加速（ICLR'24 Oral）

正文

请到「今天看啥」查看全文