DEV SAGA

关卡 5-6 · 章 XXVII · 世界 5, 智能山脉 · 练习(Kata)

评测工程(Eval)

学习「评测工程(Eval)」的顺序:3 本书,从入门到参考;1 个工作中用的 AI skill;以及值得关注的人。

阅读路线(按顺序)

  1. 1. 从这里开始AI EngineeringChip Huyen在豆瓣查看
  2. 2. 深入Reliable Machine LearningCathy Chen, Niall Richard Murphy et al.在豆瓣查看
  3. 3. 参考书关键迭代:可信赖的线上对照实验Ron Kohavi, Diane Tang, Ya Xu在豆瓣查看

日常工作用的 AI skills

/eval-set

改了提示词,只能祈祷它变好了。

  • 基于真实使用情况构建测试用例
  • 定义清晰的通过标准
  • 每次修改前后都做测量
  • 保存发现过的回归问题

怎么用: 使用 skill eval-set,为客服助手建立评测集。

值得关注的人

在地图上玩这一关

Dev Saga 是一张像素风世界地图,包含成为 Staff 工程师之路的 30 个关卡。你可以独自或和读书会一起记录读过的书、用过的 skill,并导出进度给你的上级看。

在地图上打开第 5-6 关 带到我的团队