人工评估 | 人工标注员

这是 人工评估 系列文章的第二篇《人工标注员》，全系列包括:

• 基础概念
• 人工标注员
• 技巧与提示

推荐阅读 这篇综述 的第三章，介绍了许多数据标注质量管理的实践经验。如果你追求的是生产级的质量，并且具备实施条件，那么请继续阅读吧！

Analyzing Dataset Annotation Quality Management in the Wild https://aclanthology.org/2024.cl-3.1/

无论项目规模多大，一旦定义了具体的评估任务和打分细则，请注意:

• 选择合适的标注员，如果可能的话提供经济激励 你可能希望参与任务的标注员具有以下品质:

1. 符合特定的人口统计特征。
   例如：母语是测试目标语言、较高的教育水平、特定领域的专业知识、多样化的地域背景等。根据评估任务不同，对标注员统计特征需求也不一样。
2. 提供高质量标注。
   有些任务中筛选合适的标注员很重要，比如近期有一种任务是检查回答是否是 LLM 生成的。
   个人认为，除非你众包标注员有强烈的自我驱动意识，否则一般还是支付合理的费用更好。

你也可以使用专用工具来构建高质量标注数据集，如 Argilla 。

深入阅读推荐链接：

• ⭐ 五分钟构建自己的标注平台 ，Moritz Laurer 出品的数据标注教程。这篇文章介绍了使用开源工具 (如 Argilla 和 Hugging Face) 的实际经验，可以帮助更好的理解大规模人工标注的注意事项。 https://hf.co/learn/cookbook/enterprise_cookbook_argilla

• ⭐ 标注实践指南 。这是一篇 2023 年所有关于人工标注论文的综述，内容完整，干货满满，但很容易理解。 https://aclanthology.org/2024.cl-3.1/