专栏名称: 轻松参会
回复会议名称获取交流群二维码,如“cvpr”
目录
相关文章推荐
顽主杯实盘大赛  ·  大娃封神一战 ·  2 天前  
顽主杯实盘大赛  ·  大娃封神一战 ·  2 天前  
51好读  ›  专栏  ›  轻松参会

港科大LISA: 比LoRA快50%, 大模型微调易如反掌!

轻松参会  · 公众号  ·  · 2024-05-16 15:26

正文

LoRA将微调技术带火了,但它的能力仍未达到全参数微调水平,也较难进行理论性质分析。 港科大LMFlow团队突破其局限性,发布了全新优化算法LISA, 核心在于层重要性采样思想,比LoRA内存成本更少、性能速度更快,一条指令超级简单!

研梦非凡于 5月16日 特邀了LLM专家杨导师,独家上线 《AI前沿论文系列—LISA:利用层重要性采样、实现LLM内存高效微调》直播课。 从LISA的研究背景、算法研究,再到实验结果、代码展示,带大家丝滑上手大模型微调!

扫码找助教预约直播👇🏻

免费领 160+篇精选大模型论文 (包括LLM,加速微调等,下面还有 更多福利!

前沿论文直播课

观看直播课福利

  • 参加本次直播的同学都将获得 1小时导师meeting的福利(助教+导师)!
  • 原价2999, 福利价9.9元! 紧带着你的目标区位、科研方向来!
  • 活动时间: 5月16日到5月31日。

《LISA微调》直播课内容概览

01 论文摘要

  • 核心要点
  • LLM消耗大量时空资源
  • LoRA技术的优势与挑战
  • LISA算法的替代超越

02 研究背景

  • Efficient Fine-Tuning
  • Parameter-Efficient Fine-Tuning
  • Memory-Efficient Fine-Tuning
  • Training Loss of LLaMA-7B
  • Motivation: Important Phenomenon

03 相关工作

  • Large Language Models
  • Parameter-Efficient Fine-Tuning
  • Low-Rank Adaption (LoRA)
  • Large-scale Optimization Algorithms

04 算法研究

  • Overview of LISA
  • Layerwise Importance Sampled AdamW

05 实验结果

06 代码展示

  • Setup
  • Prepare Dataset
  • Finetuning (Full)
  • Finetuning (LISA)
  • Finetuning (LoRA)
  • LLM Deployment

07 总结和展望

导师介绍

杨导师
  • AI公司自由创业者及合伙人,精通深度学习、机器学习、高性能计算等
  • 在自然语言处理、计算机视觉、多模态等领域经验丰富
  • 大模型高效计算资深专家
扫码找助教预约直播👇🏻

免费领 160+篇精选大模型论文 (包括LLM,加速微调等,下面还有 更多福利!

直播课观看福利

  • 参加本次直播的同学都将获得 1小时导师meeting的福利(助教+导师)!
  • 原价2999, 福利价9.9元! 紧带着你的目标区位、科研方向来!
  • 活动时间: 5月16日到5月31日。

研梦梦非凡科研论文指导

如果你的研究方向/所用方法/拿不准的idea是属于cv全方向/nlp全方向/机器学习/深度学习及AI+金融、医疗、交通等方向,如果你需要发 ccf a-c、sci一区-四区、EI会议/EI期刊、毕业大论文、毕业设计 等,都可以来研梦非凡匹配到合适的科研指导。

研梦非凡可指导的研究方向

主流方向科研论文常用方法

研梦非凡两种科研论文指导方案

1v1定制化论文指导

按不同的需求收费,区别于其他1v1论文辅导收全程指导费。针对在完成论文的过程中某些部分遇到难题,而找不到路径的同学,协助其用更少的费用快速地解决问题。
1v1定制化论文指导分三个阶段:
一、选题阶段定制1v1指导
  1. 自己无idea: 导师根据学员实际情况与需求,引导发现论文idea或给出论文idea
  2. 自己有idea: 导师针对已有研究成果进行梳理和分析指导,让学员了解研究领域的发展状况、研究方法和趋势,确定论文idea的研究方法和目标。
  3. 本阶段结束之后,导师结合己有研究成果的情况和论文idea,对学员后续的研究方法做出初步的规划和判断,给出建议。
二、实验阶段定制1v1指导
  1. 根据你具体的实验需求或者想要达到的论文结果,进行实验设计,明确研究问题、实验目标和要用什么方法/模型
  2. 数据集用自己的or用老师的or用开源的。老师会根据论文区位、实现结果和idea综合给选择建议
  3. 代码coding,实验代码实现,模型训练老师都会引导、指点
  4. 针对于实验的搭建模型,调参,以上的问题老师都会给你帮助
三、成稿(让写作professional)阶段定制1v1指导
因语言问题,科研协作经验缺乏,大多数的同学会因为用词和表达不够professional而被误解,导致论文改稿和评分低。
  1. 没有目标期刊会议: 如果你需要老师会根据你的论文整体情况,进行期刊会议筛选与投稿建议指导
  2. 已有目标期刊会议: 根据你要发的期刊或者会议针对型的给出论文写作框架与写作格式要求
  3. 然后告诉你,论文参考文献筛选与列举该怎么写,根据不同期刊会议要求把控细节
  4. 老师会对你的论文文字部分进行逐字的审阅,并修改与调整措辞
  5. 论文中所必要的表格与图片制作,你画的图,老师都会看,并给出修改意见的
定制1v1论文辅导扫码咨询助教👇🏻

1对1全程论文指导

全程1v1论文指导就是定制1v1的全套版,服务更细节,更适合科研小白和转行及申博人群!
1、全程论文指导的服务适合以下需求的同学
  • 非常适合科研小白:有科研需求,想融会贯通地使用算法模型,了解前沿进展和方向;






请到「今天看啥」查看全文


推荐文章
顽主杯实盘大赛  ·  大娃封神一战
2 天前
顽主杯实盘大赛  ·  大娃封神一战
2 天前
PChouse家居APP  ·  2017流行色,搬进家会变成什么样?
8 年前
微杂志  ·  男朋友宠爱程度指南。
7 年前