LoRA将微调技术带火了,但它的能力仍未达到全参数微调水平,也较难进行理论性质分析。
港科大LMFlow团队突破其局限性,发布了全新优化算法LISA,
核心在于层重要性采样思想,比LoRA内存成本更少、性能速度更快,一条指令超级简单!
研梦非凡于
5月16日
,
特邀了LLM专家杨导师,独家上线
《AI前沿论文系列—LISA:利用层重要性采样、实现LLM内存高效微调》直播课。
从LISA的研究背景、算法研究,再到实验结果、代码展示,带大家丝滑上手大模型微调!
免费领
160+篇精选大模型论文
(包括LLM,加速微调等,下面还有
更多福利!
)
-
参加本次直播的同学都将获得
1小时导师meeting的福利(助教+导师)!
-
原价2999,
福利价9.9元!
赶
紧带着你的目标区位、科研方向来!
-
-
-
Parameter-Efficient Fine-Tuning
-
Memory-Efficient Fine-Tuning
-
Training Loss of LLaMA-7B
-
Motivation: Important Phenomenon
-
-
Parameter-Efficient Fine-Tuning
-
-
Large-scale Optimization Algorithms
-
-
Layerwise Importance Sampled AdamW
-
AI公司自由创业者及合伙人,精通深度学习、机器学习、高性能计算等
-
-
免费领
160+篇精选大模型论文
(包括LLM,加速微调等,下面还有
更多福利!
)
-
参加本次直播的同学都将获得
1小时导师meeting的福利(助教+导师)!
-
原价2999,
福利价9.9元!
赶
紧带着你的目标区位、科研方向来!
-
如果你的研究方向/所用方法/拿不准的idea是属于cv全方向/nlp全方向/机器学习/深度学习及AI+金融、医疗、交通等方向,如果你需要发
ccf a-c、sci一区-四区、EI会议/EI期刊、毕业大论文、毕业设计
等,都可以来研梦非凡匹配到合适的科研指导。
按不同的需求收费,区别于其他1v1论文辅导收全程指导费。针对在完成论文的过程中某些部分遇到难题,而找不到路径的同学,协助其用更少的费用快速地解决问题。
-
自己无idea:
导师根据学员实际情况与需求,引导发现论文idea或给出论文idea
-
自己有idea:
导师针对已有研究成果进行梳理和分析指导,让学员了解研究领域的发展状况、研究方法和趋势,确定论文idea的研究方法和目标。
-
本阶段结束之后,导师结合己有研究成果的情况和论文idea,对学员后续的研究方法做出初步的规划和判断,给出建议。
-
根据你具体的实验需求或者想要达到的论文结果,进行实验设计,明确研究问题、实验目标和要用什么方法/模型
-
数据集用自己的or用老师的or用开源的。老师会根据论文区位、实现结果和idea综合给选择建议
-
代码coding,实验代码实现,模型训练老师都会引导、指点
-
针对于实验的搭建模型,调参,以上的问题老师都会给你帮助
三、成稿(让写作professional)阶段定制1v1指导
因语言问题,科研协作经验缺乏,大多数的同学会因为用词和表达不够professional而被误解,导致论文改稿和评分低。
-
没有目标期刊会议:
如果你需要老师会根据你的论文整体情况,进行期刊会议筛选与投稿建议指导
-
已有目标期刊会议:
根据你要发的期刊或者会议针对型的给出论文写作框架与写作格式要求
-
然后告诉你,论文参考文献筛选与列举该怎么写,根据不同期刊会议要求把控细节
-
老师会对你的论文文字部分进行逐字的审阅,并修改与调整措辞
-
论文中所必要的表格与图片制作,你画的图,老师都会看,并给出修改意见的
全程1v1论文指导就是定制1v1的全套版,服务更细节,更适合科研小白和转行及申博人群!
-
非常适合科研小白:有科研需求,想融会贯通地使用算法模型,了解前沿进展和方向;