青春力量，大模型：科研新风潮

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

青年学者正在迎来大模型时代的新浪潮，他们如何在这场AI革命中掀起新篇章？让我们一起探索！4月19日，2024的第一场顶会线下交流会开启了。5位顶会一作学者作为主发言嘉宾，与现场30位受邀观众一起分享并思辨科学研究、探讨大模型的边界。

以下内容基于活动实录精简呈现，与大家分享：

“不要轻言放弃，尽管我最初的投稿接收率只有20%”。

尤其是在科研初期，论文中稿率可能会非常低，但在一次次地打磨后，经验也就随之而来。

万事开头难，好的idea是怎么想出来的？他们提到，实验室的团队成员们往往会共同讨论确定研究方向，以确保工作的多样性和深度。在投稿过程中，团队合作也至关重要，投稿的成功往往是一个团队的努力结果。其次，广泛地阅读论文也是收获灵感的重要途径，但更重要的是能够跳出论文作者所构建的故事，从中挖掘出自己的视角和发现新的问题。

如何Rebuttal，也是大家非常关心的话题。面对审稿人意见，要更多地站在审稿人的角度上思考。如果我们是审稿人，提出了这个问题，希望作者如何回答？同时在返修过程中，要保持自信，如果认同审稿人的意见，应提供充分的论据来验证这些观点，以提升论文的可信度和深度；如果不认同，礼貌地讨论也是一种好的回应方式。审稿人的评分如同高考作文打分，如果要跟平均分相去慎远，AC 也会关注这个意见是否真正客观，要保留更多的精力去关注论文工作本身。在投稿选择方面，优先选择高质量的会议投稿，例如AI的三大会。高质量会议的审稿质量一般也相对比较高，审稿人会对投稿文章有一个比较本质的理解，会提些一些有深度的问题，即使论文没有被录用，在解决审稿人提问的过程中，投稿论文的质量也会得到提升。

巧借大模型的东风，发倔非常规的现象，深挖问题本质

大模型时代下，科研人员面临着信息爆炸和模型巨大化的挑战。不同的研究人员立场会影响他们对大模型的态度和方法。例如，学术研究者可能更关心模型精度对下游任务的影响，而工业界工程师可能更专注于如何优化大模型在特定问题上的性能。在选择研究路径时，要避免漫无目的盲目追风转变，同时也不应排斥新的技术。在大模型时代，研究者应扬长避短，在自己有优势的地方寻找新颖的研究点。这通常需要大量的实验并从中发现一些非常规的现象，然后逐渐深挖这些本质问题。这一过程需要创新思维和实践经验的累积。

“智能体犹如一个分工明确的团队，每个成员在一个框架内团结组织起来，共同解决问题。”

智能体已经火热了一段时间，但在实际应用场景中还面临许多挑战。一位从机器人硬件行业转向AI强化学习领域的研究者，就此现状进行了深入探讨。他主要将研讨的焦点集中在智能体的“幻觉”问题。目前智能体面临的重大挑战之一便是如何控制由“幻觉”问题带来的影响。此外还探讨了智能体和其他类型的聊天机器人之间的明显差异。智能体在功能上之所以更为强大，因为除了提供语言、图像和音频输出外，它还可以输出决策信息，自动为用户做出选择，从而略过许多中间步骤。

“超级智能并不一定要拥有与人类类似的情感或者理解能力，其核心定义更偏向于一种解决超级复杂问题的能力”。

在AI蓬勃发展的背景下，对于这个命题的看法既有积极乐观的期待，也有悲观的担忧。尽管当前大模型已取得显著的进展，然而当涉及理解隐喻等复杂认知任务时，现有的技术看起来依然力有未逮。实现超级智能，并不仅仅需要强大的计算能力和精密的监督机制，更要求我们能够深度挖掘和量化专家级别的知识，并创新学习新知和利用人类经验的方式。未来的超级智能有望在开放世界的游戏中得以训练和实现，通过更接近现实世界的模拟环境进行决策，超越现有模型仅限于聊天或生成文本等的能力。

一作学者们也分别介绍了他们的论文工作亮点：

清华大学的余天予

介绍了发表在CVPR 2024的RLHF-V: Towards Trustworthy MLLMs via Behavior Alignment from Fine-grained Correctional Human Feedback。

多模态大模型（MLLM）展现出了优秀的多模态信息理解和推理能力，却也与大语言模型一样饱受“幻觉”问题的困扰，即模型在回答中出现与图片信息不符的内容。为缓解多模态大模型的幻觉问题，他们提出了全新的多模态大模型对齐框架 RLHF-V，从数据和算法层面入手显著减少“幻觉”的出现。通过构造新颖的细粒度修改式反馈偏好，和设计相应的偏好学习算法。仅需 1.4k 人类反馈的细粒度数据单机 8 × A100 训练1 小时即可使模型幻觉率降低 34.8%，在抵抗“过泛化”问题上的表现甚至超过了 GPT-4V。