什么是好监控

雷帅快与慢 · 公众号 · · 2024-08-30 21:16

正文

好的监控，一定不只是展示某种结果，还要提供发现问题的路径。

如果监控发现了异常，难不成还要另做一套分析吗？不需要的，你的监控应该包括这部分功能。那怎么做呢？

监控转化路径，监控模型效果，做好趋势分析，对比对比，细分分析。光有一个数据是没有意义的， 比较才能使其有洞见 ，怎么比？和过去比，和其他的比，分开了自己比。

这些我全写在《不监控不风控》这篇文章里了，想不到我 21 年的文章就写得这么棒。

例如 ks 下降了很多，你应该干什么？这等于，跟 ks 有关的有什么，那有什么呢？不要看，先想想，朋友们。

客群，不同的客群 ks 肯定是不一样的；

通过率 ，通过率发生变化， ks 也会有影响；

风险，其实风险是不太会直接改变 ks 结果的，如果这里的风险变化是自变量而不是因变量的话。这里的意思是，什么都没变，风险发生了变化，例如疫情，其实 ks 不怎么变的，因为那几乎是等比例上涨。如果风险发生了变化，其实是因为收缩了策略降低了通过率，那它就不是自变量。

这在你的监控里得体现出来。如果只是一个 ks ，你就看不到客群，看不到通过率，看不到风险变化。

当然了，还有一个可能，那就是你的模型生产出问题了。实时模型的话线上字段发生了变化，工程上没顾及到，离线模型的话，则可能是特征字段或者依赖关系出问题了。但这些更应该在发生初期通过分布监控告警而知，而不是几个月后发现 ks 有问题。

于是，你还应该对比其他的模型。如果所有的模型都发生同样的趋势变化，你还那么担心某个模型出现异常吗？

推荐文章

爱可可-爱生活 · LLMBRACES 创新性地提出通过动态调整前馈网络子更新贡献来-20250322054258

14 小时前

宝玉xp · 天天炸裂炸麻了😄//@i陆三金:为什么OpenAI这个更新关注-20250321105717

昨天

AI范儿 · OpenAI 新语音技术发布，AI 助手终于学会"说人话"了！

昨天

爱可可-爱生活 · 非线性表示学习的鲁棒性研究突破查看图片 //@爱可可-爱生活-20250321070659

昨天

雨生云计算 · 黄仁勋深度解读DeepSeek R1：推理型AI的算力需求是传统模型的100倍

昨天

雨生云计算 · 黄仁勋深度解读DeepSeek R1：推理型AI的算力需求是传统模型的100倍

昨天

摄影笔记 · 自学摄影看这本书

8 年前

央视财经 · 【震惊】1个月内决策层6次表态！2017房价怎么走?是涨是跌？

8 年前

大宗内参 · 房地产VS黑色系2017二季度行情展望

7 年前

分布式实验室 · 某股份制商业银行定制化PaaS介绍

7 年前

中国律师商学院 · 【深度总结】中小企业聘请法律顾问十大错误认识

7 年前