多模态大模型VLM蒸馏新SOTA！CVPR'24全新方法打造轻量级CLIP!

自从谷歌提出ViT、Open AI发布 CLIP， 视觉语言模型（ VLM ）便成为了 研究热点， 凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，但同时，大模型也存在体量及泛化的局限，模型压缩技术必不可少，其中， 知识蒸馏的教师-学生模型效果显著，保持性能且更加轻量，而 一项基于 提示学习的VLM蒸馏新方法 ，今年刚被 顶会 CVPR'24关注 收录 ！

为了帮助大家综合掌握，集 VLM、知识蒸馏、提示工程一体的创新成果 ，研梦非凡于 9月4日晚（周三） ，邀请了从事 多模态大模型研究的王导师 ，独家详解来自 南开&蚂蚁集团的 CVPR'24研究 《 PromptKD： 基于提示学习的VLM蒸馏新方法！ 》 （AI前沿直播课NO.65） ，从 VLM、Knowledge Distillation、Prompt Learning的知识回顾，到PromptSRC等顶会相关工作， 重点讲解PromptKD方法原理、提示蒸馏过程及实验研究， 1节课get前沿视野及论文idea！

👇🏻 扫描二维码找助教 0元 预约 直播课！

凡预约即可免费领取 3 00 篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/ VLM ） +文末还有算力等科研福利！

unset unset 直播课内容概览 unset unset

01 研究背景

1. 关注的问题
2. 本文主要贡献

• 无监督领域特定提示驱动知识蒸馏
• 预存储文本特征
• 教师-学生范式
• 广泛的实验验证

02 知识准备

1. 视觉语言模型（VLM）

• 经典模型 CLIP 介绍
• CLIP特点与架构

2. 知识蒸馏（Knowledge Distillation）

• 什么是知识蒸馏？
• 为什么要知识蒸馏？
• 知识蒸馏的原理：Teacher、Student模型
• 知识蒸馏的分类：基于目标、基于特征的蒸馏

3. 提示学习（ Prompt Learning ）

• Prompt-Tuning的优缺点
• Prompt-Tuning的代表性工作

👇🏻 扫描二维码找助教 0元 预约 直播课！

凡预约即可免费领取 3 00 篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/ VLM ） +文末还有算力等科研福利！

03 相关工作

1. PromptSRC（ICCV'23）

• 简介：自我调节的提示学习框架，解决了提示过拟合问题，以实现更好的泛化
• 框架原理

04 PromptKD详解（CVPR'24）

1. 方法简介
2. 两阶段训练流程

• Prompt Learning
• 通过促进快速模仿来启动蒸馏过程，鼓励学生模型生成与教师模型相似的预测

3. 伪代码

05 实验研究

1. 实验一

• 实验指标、数据集等
• 实验设置

2. 实验二

• 实验流程

3. 消融实验

06 总结和展望

导师介绍

王导师

【学术背景】985硕出身，拥有丰富的深度学习研究、论文发表经验，多篇SCI论文、EI会议论文（一作）

【研究方向】大语言模型、视觉语言模型、多模态学习，以及自然语言处理、进化算法等

👇🏻 扫描二维码找助教 0元 预约 直播课！

凡预约即可免费领取 3 00 篇精选论文（50篇VLM蒸馏+50篇提示工程+100篇多模态+100篇LLM/ VLM ） +文末还有算力等科研福利！

unset unset 研梦非凡科研论文指导方案 unset unset

👇🏻 扫描二维码 咨询助教两种指导方案

unset