/honest-evaluation
模型在 notebook 里准确率很高,到真实世界就不行。
- 查找训练集与测试集之间的数据泄漏
- 与简单的基线模型对比
- 指出与目标不一致的评估指标
- 按用户群体检查模型表现
怎么用: 使用 skill honest-evaluation,评估流失预测模型的 notebook。
关卡 5-3 · 章 XXIV · 世界 5, 智能山脉 · 题目
学习「机器学习」的顺序:3 本书,从入门到参考;1 个工作中用的 AI skill;以及值得关注的人。
模型在 notebook 里准确率很高,到真实世界就不行。
怎么用: 使用 skill honest-evaluation,评估流失预测模型的 notebook。
Dev Saga 是一张像素风世界地图,包含成为 Staff 工程师之路的 30 个关卡。你可以独自或和读书会一起记录读过的书、用过的 skill,并导出进度给你的上级看。