专栏名称: 轻松参会
回复会议名称获取交流群二维码,如“cvpr”
目录
相关文章推荐
半月谈  ·  免票!半价!哪吒粉丝福利来啦 ·  昨天  
半月谈  ·  规范词积累的底层逻辑与实战技巧 ·  3 天前  
51好读  ›  专栏  ›  轻松参会

顶会涌现一批大模型幻觉工作,极具创新!

轻松参会  · 公众号  ·  · 2024-08-15 12:37

正文

自ChatGPT发布问世, 业界便进入 大模型时代,随着训练推理的深入, 大模型也逐渐暴露出幻觉问题,一些回复与事实知识不符,研究落地面临极大挑战, 于是, 围绕其产生原因、检测机制、缓解方法等, 近年 顶会激增了一批大模型幻觉工作,在数据、基准、解码等多个层面,攻克方法层出不穷!

为了帮助大家综合掌握大模型幻觉,研梦非凡于 8月21日晚(周三) ,邀请了从事 多模态大模型研究的王导师 ,独家详解 《大模型幻觉消失术:全面综述到顶会方法》 (AI前沿直播课NO.62) ,主要涉及1篇华为的最新综述,以及1篇 阿里&南洋理工CVPR'24收录工作, 从LVLMs对象幻觉问题,再到产生原因、缓解办法,重点讲解顶会方法-视觉对比解码( VCD )核心原理,并具体演示代码,1节课速通!

👇🏻 扫描二维码找助教 0元 预约 直播课!

凡预约即可免费领取 200 篇相关论文(20篇幻觉前沿+70篇多模态+120篇大模型 +文末还有算力等科研福利!


直播课内容概览

01 研究背景(最新综述)

  1. LVLMs的对象幻觉问题
  • 对象幻觉的概念和影响
  • 易受影响的场景和行业
  1. LVLMs面临的挑战
  • 根本性问题
  • 缓解问题的新方法VCD
  • VCD减少对象幻觉的原理

02 相关工作(最新综述)

  1. 多模态幻觉的含义
  2. 多模态幻觉产生的原因
  • 数据:数据量不足、数据质量问题、缺乏多样性
  • 视觉编码器:有限的视觉分辨率、细粒度视觉语义不足
  • 连接模块:简单结构、有限的标记约束
  • LLM:不足的上下文注意力、随机采样解码
  1. 缓解幻觉的方法
  • 数据优化
  • 视觉编码器增强
  • 连接模块改进
  • LLM的解码优化
  • 后处理方法

👇🏻 扫描二维码找助教 0元 预约 直播课!

03 VCD方法详解(CVPR'24)

  1. 视觉语言模型的解码
  2. 视觉不确定性加剧幻觉
  • 视觉不确定性会放大语言先验
  • 视觉不确定性会放大统计偏差
  1. 视觉对比解码( VCD
  • 设计目的
  • 对比预测
  • 自适应合理性约束

04 实验分析 (CVPR'24)

  1. 实验设置和结果
  2. 数据集基准:POPE & MME

05 代码实现(讲解重点)

  1. 核心代码讲解
  2. 具体演示

06 总结和展望

导师简介

王导师

【学术背景】985硕出身,拥有丰富的深度学习研究、论文发表经验,多篇SCI论文、EI会议论文(一作)

【研究方向】大语言模型、视觉语言模型、多模态学习,以及自然语言处理、进化算法等

直播福利

参加本次直播的同学都将获得 1小时导师meeting的福利(助教+导师)! 原价2999, 限时福利价 9.9元 活动时间为8月21日到8月31日。

ps:研梦非凡开设的前沿论文系列直播,旨在帮助大家提升读论文技能,快速抓住重点,掌握有效方法,进而找到创新点,轻松完成论文报告。

👇🏻 扫描二维码找助教 0元 预约 直播课!


研梦非凡科研论文指导

如果你的研究方向/方法/idea是属于 CV全方向/NLP全方向/机器学习/深度学习及AI+金融、医疗、交通等方向, 如果你需要发 CCF A-C、SCI一区-四区、EI会议/EI期刊、毕业大论文、毕业设计等, 都可以来研梦非凡,匹配合适的科研指导。

研梦非凡可指导的研究方向

主流方向科研论文常用方法

研梦非凡现有idea

👇🏻 扫码找助教了解更多/验证自己的idea是否可行



研梦非凡科研论文指导方案

idea并不是直接拍脑门拍出来的,是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。 研梦非凡1V1定制化论文指导,和研梦导师一起找idea,研梦导师指导实验,共同解决数据问题。 授之以渔——搭建论文写作框架,增删改查,针对性实验指导!哪里薄弱补哪里!






请到「今天看啥」查看全文