Kaggle赛题解析：LLM 20 Questions

Coggle数据科学 · 公众号 · · 2024-05-16 16:46

正文

https://www.kaggle.com/competitions/llm-20-questions

它是一个人、一个地方还是一个事物？比面包盒还小吗？比70B参数模型小吗？20 Questions 是一款古老的演绎游戏，您只需使用是或否问题，尝试在 20 个问题或更少的问题中猜测一个秘密单词。

玩家尝试通过将问题从一般性缩小到具体性来推断单词，希望在最少的问题中猜出单词。每个团队将由一名猜测者LLMs和一名回答者LLMs）组成，负责提出问题和猜测，以及一名回答者LLMs，负责回答 “是” 或 “否” 答案。通过策略性问答，目标是让猜测者在尽可能少的轮次内正确识别出秘密单词。

本次竞赛将评估LLMs的关键技能，例如演绎推理、通过有针对性的提问有效收集信息以及配对代理之间的协作。它还提供了一个需要创造力和策略的受限环境，并具有有限的猜测次数。成功将证明LLMs不仅能够回答问题，而且能够提出有洞察力的问题，进行逻辑推理，并快速缩小可能性范围。

在本次模拟比赛中，您必须创建一个能够玩“20 个问题”游戏的语言模型。队伍将进行 2 对 2 的玩家配对，并竞相首先推导出密语。

您的团队每天最多可以提交 5 个代理（机器人）参加比赛。每次提交都会与排行榜上具有相似技能等级的其他机器人进行回合（游戏）。

随着时间的推移，技能等级会随着胜利而上升，随着失败而下降，或者随着平局而持平。本次比赛采用合作、2 对 2 的形式进行。您的机器人将与具有相似技能的机器人随机配对，以便对抗另一个随机配对。在每一对机器人中，一个机器人将被随机分配为提问者，另一个机器人将被随机分配为回答者。

在排行榜上，只会显示您的最佳得分机器人，但您可以在“提交”页面上跟踪所有提交的进度。

# 竞赛交流群邀请函 #

△长按添加竞赛小助手

每天大模型、算法竞赛、干货资讯

与 40000+ 来自竞赛爱好者一起交流~