专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号,致力于传播大数据价值、培养数据思维。
目录
相关文章推荐
国家数据局  ·  全国数据标准化技术委员会2024-2025年 ... ·  昨天  
CDA数据分析师  ·  【干货】京东物流数据分析师的工作思路 ·  2 天前  
数据派THU  ·  【NeurIPS2024】MoTE:在视觉语 ... ·  6 天前  
数据派THU  ·  Nat. Commun. | ... ·  4 天前  
51好读  ›  专栏  ›  数据派THU

【NeurIPS2024】GDeR: 通过原型图剪枝保障效率、平衡性与鲁棒性

数据派THU  · 公众号  · 大数据  · 2024-10-30 17:03

正文

来源:专知

本文约1000字,建议阅读5分钟

我们提出了一种新的动态软剪枝方法——GDeR,该方法通过可训练的原型在训练过程中动态更新训练“篮子”。


训练高质量的深度模型需要大量的数据,这会导致巨大的计算和内存需求。近年来,数据剪枝、蒸馏和核心集选择等方法被开发出来,以通过保留、合成或从完整数据集中选择一个小而信息丰富的子集来简化数据量。在这些方法中,数据剪枝带来的额外训练成本最低,并提供了最实际的加速效果。然而,它也是最脆弱的,往往在数据不平衡或数据模式偏差的情况下遭遇显著的性能下降,因此在设备端部署时,其准确性和可靠性引发了担忧。因此,迫切需要一种新的数据剪枝范式,既能保持现有方法的效率,又能确保平衡性和鲁棒性。与计算机视觉和自然语言处理领域中已开发出成熟的解决方案不同,图神经网络(GNN)在应对日益大规模、不平衡和噪声数据集时仍面临挑战,缺乏统一的数据集剪枝解决方案。
为此,我们提出了一种新的动态软剪枝方法——GDeR,该方法通过可训练的原型在训练过程中动态更新训练“篮子”。GDeR首先构建一个经过良好建模的图嵌入超球体,然后从该嵌入空间中抽取具有代表性、平衡且无偏的子集,达到我们所称的图训练调试(Graph Training Debugging)目标。在五个数据集和三个GNN骨干网络上的广泛实验表明,GDeR (I) 在减少30%至50%的训练样本的情况下,仍能达到或超越完整数据集的性能;(II) 实现了最高2.81倍的无损训练加速;(III) 在不平衡训练和噪声训练场景中,比最新的剪枝方法分别提高了0.3%至4.3%和3.6%至7.8%的性能提升。源代码可在https://github.com/ins1stenc3/GDeR获取。



关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU