专栏名称: 计算机视觉研究院

主要由来自于大学的研究生组成的团队，本平台从事机器学习与深度学习领域，主要在人脸检测与识别，多目标检测研究方向。本团队想通过计算机视觉战队平台打造属于自己的品牌，让更多相关领域的人了解本团队，结识更多相关领域的朋友，一起来学习，共同进步！

视觉大模型的幻觉挑战！原因梳理、方法总结！

计算机视觉研究院 · 公众号 · AI 科技自媒体 · 2024-08-13 11:30

正文

近年大模型彻底火了，但随之而来的幻觉问题，即多模态大模型生成的内容，与现实世界或者用户输入出现不符，引发了学业界的担忧，并开始围绕其产生原因、检测机制、缓解方法等，展开了全面而深入的研究， CVPR'24也收录了一批关于幻觉问题的工作，在数据、基准、解码等多个层面，创新方法层出不穷！

为了帮助大家掌握幻觉缓解顶会方法，研梦非凡于 8月21日晚（周三） ，邀请了从事 多模态大模型研究的王导师 ，独家详解 阿里&南洋理工CVPR'24最新工作 《LVLMs对象幻觉的缓解：视觉对比解码（VCD）》 （AI前沿直播课NO.62） ，从LVLMs面临的挑战、对象幻觉问题，再到幻觉产生原因、缓解办法， 重点讲解 VCD核心原理，并具体演示代码， 1节课速通大模型幻觉，收获论文idea、求职面试知识点！

👇🏻 扫描二维码找助教 0元预约 直播课！

凡预约即可免费领取 200 篇相关论文（20篇幻觉前沿+70篇多模态+120篇大模型 ） +文末还有算力等科研福利！

直播课内容概览

01 研究背景

LVLMs的对象幻觉问题

对象幻觉的概念和影响
易受影响的场景和行业

LVLMs面临的挑战

根本性问题
缓解问题的新方法VCD
VCD减少对象幻觉的原理

02 相关工作

多模态幻觉的含义
多模态幻觉产生的原因

数据：数据量不足、数据质量问题、缺乏多样性
视觉编码器：有限的视觉分辨率、细粒度视觉语义不足
连接模块：简单结构、有限的标记约束
LLM：不足的上下文注意力、随机采样解码

缓解幻觉的方法

数据优化
视觉编码器增强
连接模块改进
LLM的解码优化
后处理方法

03 VCD方法详解（重点）

视觉语言模型的解码
视觉不确定性加剧幻觉

视觉不确定性会放大语言先验
视觉不确定性会放大统计偏差

视觉对比解码

设计目的
对比预测
自适应合理性约束

04 实验分析

实验设置和结果
数据集基准：POPE & MME

05 代码实现（重点）

核心代码讲解
具体演示

06 总结和展望

直播福利

参加本次直播的同学都将获得 1小时导师meeting的福利（助教+导师）！ 原价2999， 限时福利价 9.9元 ！活动时间为8月21日到8月31日。

ps：研梦非凡开设的前沿论文系列直播，旨在帮助大家提升读论文技能，快速抓住重点，掌握有效方法，进而找到创新点，轻松完成论文报告。

👇🏻 扫描二维码找助教 0元预约 直播课！

凡预约即可免费领取 200 篇相关论文（20篇幻觉前沿+70篇多模态+120篇大模型 ） +文末还有算力等科研福利！

研梦非凡科研论文指导

如果你的研究方向/方法/idea是属于 CV全方向/NLP全方向/机器学习/深度学习及AI+金融、医疗、交通等方向， 如果你需要发 CCF A-C、SCI一区-四区、EI会议/EI期刊、毕业大论文、毕业设计等， 都可以来研梦非凡，匹配合适的科研指导。

研梦非凡可指导的研究方向

主流方向科研论文常用方法

研梦非凡现有idea

👇🏻 扫码找助教了解更多/验证自己的idea是否可行

研梦非凡科研论文指导方案

idea并不是直接拍脑门拍出来的，是一遍一遍实验、跑代码、改模型、思路修正的过程中产生的。 研梦非凡1V1定制化论文指导，和研梦导师一起找idea，研梦导师指导实验，共同解决数据问题。 授之以渔——搭建论文写作框架，增删改查，针对性实验指导！哪里薄弱补哪里！

<< >>>

👇🏻