专栏名称: 极市平台

极市平台是由深圳极视角推出的专业的视觉算法开发与分发平台，为视觉开发者提供多领域实景训练数据库等开发工具和规模化销售渠道。本公众号将会分享视觉相关的技术资讯，行业动态，在线分享信息，线下活动等。网站: http://cvmart.net/

极市直播预告｜NUS尤洋团队同MIT、上海AI Lab等提出首个无损数据集蒸馏方法（ICLR 2024）

极市平台 · 公众号 · · 2024-05-07 22:17

正文

↑ 点击蓝字关注极市平台

|极市线上分享第132期 |

一直以来，为让大家更好地了解学界业界优秀的论文和工作，极市已邀请了超过 100 位技术大咖嘉宾，并完成了 131 期极市线上直播分享。

往期分享请前往 bbs.cvmart.net/topics/149 或直接 阅读原文 ，也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享，与大家一起交流学习~~

本次分享我们邀请到了 西安电子科技大学硕士研究生郭子尧 ，为大家详细介绍他们中稿ICLR 2024的工作：

Towards Lossless Dataset Distillation via Difficulty-Aligned Trajectory Matching

论文地址： https://arxiv.org/abs/2310.05773

代码地址： https:// gzyaftermath.github.io/DATM/

随着深度学习的发展，模型训练所需数据量与日俱增；如何减少冗余数据，降低模型训练成本正在成为逐渐凸显的需求。作为一种数据集压缩方法，数据集蒸馏旨在以生成的方式将一个大的数据集压缩成一个小的数据集。得益于生成数据的高信息密度，在压缩率较高时，数据集蒸馏的效果远超数据集剪枝等其他数据压缩方法。然而，随着压缩率的逐渐降低，现有数据集蒸馏方法的效果逐渐变差，甚至弱于从原数据集中随机选取等量数据。这导致现有数据集蒸馏方法局限于高压缩率场景，无法实现对原数据集的无损压缩。

在本篇工作中，作者分析了生成数据的难易以及其对压缩效果的影响，发现应该根据压缩比率控制生成数据的难易。通过应用这一策略，作者提出了第一个可以在低压缩率保持有效的数据集蒸馏方法，并首次实现了无损数据集蒸馏，成功将 CIFAR10/100 数据集压缩到了 1/5 大小， Tiny ImageNet 压缩到了 1/10 大小而不降低训练所得模型的性能。