专栏名称: 歸藏的AI工具箱
互联网科技博主 产品设计师、模型设计师、 不会代码的独立开发者。 关注人工智能、LLM 、 Stable Diffusion 和设计。
51好读  ›  专栏  ›  歸藏的AI工具箱

Hamel Husain 这篇内容真的很好,全是实践经验。#ai-20241031173628

歸藏的AI工具箱  · 微博  ·  · 2024-10-31 17:36

正文

2024-10-31 17:36

Hamel Husain 这篇内容真的很好,全是实践经验。 #ai#

介绍如何帮助模型团队避免被各种指标淹没。

据我观察他说的这些问题国内模型训练团队也都有:

- 创建大量难以管理的指标
- 非常随意的评分标准
- 忽视领域专家意见
- 指标不能反映对用户或业务需求

他提出了Critique Shadowing来解决这些问题。

文章地址:hamel.dev/blog/posts/llm-judge/






请到「今天看啥」查看全文