专栏名称: 将门创投
将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。
目录
相关文章推荐
上海科创汇  ·  申报|静安区2024年优质中小企业(第四批) ·  昨天  
少数派  ·  「低配」不低能:2024 款 ... ·  2 天前  
少数派  ·  「低配」不低能:2024 款 ... ·  2 天前  
美股研究社  ·  三季度营收暴涨347.8%,属于亿航智能的“ ... ·  3 天前  
美股研究社  ·  三季度营收暴涨347.8%,属于亿航智能的“ ... ·  3 天前  
创业家  ·  创业者不要爱上自己的产品 ·  4 天前  
IPO早知道  ·  IPO周报 | ... ·  5 天前  
51好读  ›  专栏  ›  将门创投

Talk预告|澳门大学田春霖:小参数大作为,揭秘非对称LoRA架构的高效性能

将门创投  · 公众号  · 科技创业  · 2024-11-19 08:22

正文

本期为TechBeat人工智能社区640线上Talk。

北京时间11月20日(周三)20:00,澳门大学博士生田春霖的Talk将准时在TechBeat人工智能社区开播!
他与大家分享的主题是: 小参数大作为,揭秘非对称LoRA架构的高效性能届时他将介绍一种非对称的参数微调架构HydraLoRA,能够有效识别并适应数据中的 “内在组件”—— 即子领域或不同任务。该工作已入选 NeurIPS 2024 Oral
Talk·信息
主题:小参数大作为,揭秘非对称LoRA架构的高效性能
嘉宾:澳门大学 · 博士生 - 田春霖
时间:北京时间 11月20日(周三)20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/

 长按识别二维码,一键预约TALK!


Talk·介绍
本文提出了HydraLoRA,一种非对称的参数微调架构,能够有效识别并适应数据中的 “内在组件”—— 即子领域或不同任务。通过自主分配不同的 B 矩阵来捕捉特定任务的特性,共享的 A 矩阵负责全局信息的整合,从而实现了高效的参数利用和性能提升。
Talk大纲
1. 背景 - LoRA结构介绍及其发展

2.观察与动机 - 揭露LoRA结构的非对称性

3.解决方案 - HydraLoRA架构

4. 实验分析 - 性能和效率双重提升

5. 总结


Talk·预习资料

论文链接:

https://arxiv.org/abs/2404.19245

项目主页:

https://github.com/Clin0212/HydraLoRA


Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!

Talk·嘉宾介绍

田春霖‍‍‍‍‍‍‍‍‍

澳门大学 · 博士生
田春霖,澳门大学物联网国家重点实验室的三年级博士生,导师为栗力和须成忠教授。主要研究方向为 MLSys 和高效大语言模型,在MICRO/NeurIPS/ICML/TPDS等会议与期刊上以第一作者身份发表多篇论文。

个人主页: 

https://www.techbeat.net/grzytrkj?id=21254


 长按识别二维码,一键预约TALK!


-The End-


如果你也想成为讲者

 自荐 / 推荐 

单人Talk | 团队专场 | 录播or直播 | 闭门交流
多种方式任你选择!
推荐讲者成功也有奖励哦~


关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!

更多详细介绍>>TechBeat,一个荟聚全球华人AI精英的学习成长社区

点击“阅读原文”
预约本期Talk