随着人工智能时代的到来,大模型作为基础设施的重要性日益凸显,如同水、电一般不可或缺。这些预训练模型以其广泛的知识覆盖与强大的学习能力,为各领域带来革新。然而,要使这些大模型在特定应用场景中发挥最佳效能,微调技术成为关键一环。
大模型微调基于预训练模型,在特定任务数据集上进行二次训练,旨在让模型在保留广泛知识的同时,获得对特定任务的深入理解与高效执行能力。通过微调技术,不断地提高大模型适应性,完成特定场景下的表现力和理解深度,在复杂业务中运用更广泛。同时,大模型的性能也在文本分类、情感分析、图像识别等多个领域得到增强训练,甚至可以完成个性化复杂场景定制服务。
未来,大模型微调不仅是解锁大模型潜力、使其在实际应用中发挥最大效能的关键步骤,也是当前AI技术研发的热点所在。随着技术的不断进步和创新,微调技术将持续深化大模型的行业渗透与应用场景的拓展,推动人工智能技术向着更加智能化、个性化的方向发展。在这个过程中,如何高效、经济地实施微调,将是未来各大企业持续探索的重要课题。
7月5—6日在北京将会召开
「DataFunCon2024·北京站:大数据·大模型.双核时代 」
主题峰会。来自滴普科技首席技术专家——陈峰老师,将担任
「定制未来:大模型微调」分论坛
的出品人。
陈峰老师作为滴普科技高级研究员,也是《ClickHouse性能之巅》作者。在数据智能领域是资深架构师,曾主导OPPO智能缺陷识别、威视智能瞳孔检测、百丽丽影等多个数据智能项目技术架构的设计工作,有丰富的大模型落地经验。目前着眼于大模型在不同领域上的工程化落地。相信本次分论坛一定会给大家带来更多大模型微调技术的思考,希望可以在现场一同讨论大模型微调未来趋势。
「定制未来:大模型微调」分论坛议题抢先看!
演讲题目一:提升大模型数学推理能力
2016年硕士毕业于电子科技大学信息与软件工程,《推荐系统技术原理与实践》作者,拥有超过8年的模型优化经验,硕士期间发表5篇论文,其中3篇被EI收录。在大模型方向拥有丰富的技术背景,参与过千亿大模型训练和优化。目前主要负责大模型后训练,COT优化以及通用技能优化。
1.Instruct Tuning方法:主要基于思维链,包括COT、Zero-shot-CoT、Self-consistency、LtM、POT等方法;
2.Self Evolution:介绍如何通过Self-rewarding、Self-Critique等方法,提升数学问题所需的准确性和逻辑一致性。
听众收益:
1.介绍如何将COT转换为POT模式,大模型计算能力提升20%以上;
2.在Self Evolution阶段,通过RFT、DPO等方法,在不牺牲其它任务效果的情况下,显著提升了数学问题的一致性。
演讲题目二:滴普企业大模型在智能制造行业的落地实践
演讲嘉宾:
冯森 滴普Deepexi产品线总裁
个人介绍:
10余年数据库和大数据的研发及技术管理经验。曾获得Nvidia官方认证的CUDA培训讲师,负责过装备制造、高校和科研机构的GPU并行加速项目。
演讲介绍和提纲:
1.介绍大模型语料加工过程,包括数据解析,数据按照三级大纲切片,数据标注,数据合成等,为模型训练/微调做数据准备工作;
2.介绍RAG 优化提升召回准确率,包括问题改写,混合检索,embedding优化,复杂表格解析,知识图谱检索等;
3.介绍制造行业大模型训练/微调方法,通过企业私有化大模型提升知识问答准确率。
听众收益:
1.了解企业大模型落地过程中的语料加工和模型训练/微调过程;
2.了解企业大模型落地制造行业的实践经验。
演讲题目三:智慧芽数据治理与大模型的协同实践
演讲嘉宾:
金路 智慧芽首席架构师,大数据负责人
先后就职于IBM、Oracle、美团、智慧芽。前期从事云原生相关工作,例如负责大众点评主站核心服务,构建高可用和高并发的服务。目前在智慧芽负责大数据工作,包括数据技术和平台架构、采集、治理、数字化运营等。
演讲介绍和提纲:
1.数据治理和大模型协同的背景;