专栏名称: 数据派THU

本订阅号是“THU数据派”的姊妹账号，致力于传播大数据价值、培养数据思维。

目录

相关文章推荐

国家数据局 · 专家解读 | ... · 2 天前

数据派THU · 【NeurIPS2024】《AmoebaLL ... · 3 天前

Carbon Research · Carbon Research | ... · 5 天前

Carbon Research · Carbon Research | ... · 5 天前

数据派THU · 利用PyTorch的三元组损失Hard ... · 6 天前

数据派THU · 【博士论文】异构协同模型推理 · 6 天前

51好读 › 专栏 › 数据派THU

【NeurIPS2024】《AmoebaLLM：构建任意形状的大型语言模型以实现高效和即时部署》

数据派THU · 公众号 · 大数据 · 2024-12-08 17:00

正文

来源：专知
本文约1000字，建议阅读5分钟




    
我们提出了 AmoebaLLM，一个创新的框架，旨在支持即时生成任意形状的LLM子网络。

受大型语言模型（LLMs）在各种自然语言任务中的变革性能力的启发，针对多样化的现实世界应用和平台有效部署这些模型的需求日益增长。然而，由于应用场景特定的性能需求不同，以及计算平台快速演进带来的资源限制和部署流程差异，LLMs的高效部署面临越来越显著的挑战。这些多样化的需求促使研究者开发能够根据不同平台和应用需求调整其结构（深度和宽度）的LLMs，以实现最佳效率。

为了解决这一关键问题，我们提出了 AmoebaLLM，一个创新的框架，旨在支持即时生成任意形状的LLM子网络。这些子网络不仅能够达到准确性和效率的前沿，还可以在一次性微调后立即提取。通过这种方式，AmoebaLLM大大简化了针对不同平台和应用的快速部署过程。

具体来说，AmoebaLLM集成了以下三项创新组件：

知识保留的子网络选择策略，包括用于深度压缩的动态规划方法和基于重要性驱动的宽度压缩方法；
形状感知的LoRA混合策略，以缓解微调过程中子网络之间的梯度冲突；
就地蒸馏机制，采用平衡损失幅度作为微调目标。

广泛的实验验证表明，AmoebaLLM不仅在LLM的适应性方面设定了新标准，还能够成功提供在准确性和效率之间实现最新权衡的子网络。我们的代码已开源，访问地址为 https://github.com/GATECH-EIC/AmoebaLLM。

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU

推荐文章

国家数据局 · 专家解读 | 以“三流”破解“三不”：体系化推进可信数据空间建设与运营

2 天前

数据派THU · 【NeurIPS2024】《AmoebaLLM：构建任意形状的大型语言模型以实现高效和即时部署》

3 天前

Carbon Research · Carbon Research | 机器学习辅助水生生物质生物炭的生产

5 天前

Carbon Research · Carbon Research | 机器学习辅助水生生物质生物炭的生产

5 天前

数据派THU · 利用PyTorch的三元组损失Hard Triplet Loss进行嵌入模型微调

6 天前

数据派THU · 【博士论文】异构协同模型推理

6 天前

山西老乡俱乐部 · 张倩云上湖南卫视，一首歌，轰动全场...

7 年前

剑圣喵大师 · 女人嫁对人了吗，看过这点就知道

7 年前

iWeekly周末画报 · 抢先撩 | 多年浪子变大叔，快来看看这些好莱坞的中年人都在做什么

7 年前

中国生物产业信息平台 · 百位生物专家共论产业发展

7 年前

家庭用药杂志 · 子宫肌瘤8问8答

7 年前

Sov5搜索 · 小百科 · 移动版

51好读 - 好文章就要读起来!