DEV SAGA

关卡 5-1 · 章 XXII · 世界 5, 智能山脉 · 练习(Kata)

数据工程

学习「数据工程」的顺序:3 本书,从入门到参考;1 个工作中用的 AI skill;以及值得关注的人。

阅读路线(按顺序)

  1. 1. 从这里开始Fundamentals of Data EngineeringJoe Reis, Matt Housley在豆瓣查看
  2. 2. 深入数据仓库工具箱Ralph Kimball, Margy Ross在豆瓣查看
  3. 3. 参考书数据密集型应用系统设计Martin Kleppmann在豆瓣查看

日常工作用的 AI skills

/data-contract

有人改了一列,数据管道就断了。

  • 定义生产方与消费方之间的 schema 和契约
  • 指出没有负责人或含义不清的列
  • 检查数据质量:空值、重复、延迟
  • 画出数据血缘

怎么用: 使用 skill data-contract,检查数据湖里的订单表。

值得关注的人

在地图上玩这一关

Dev Saga 是一张像素风世界地图,包含成为 Staff 工程师之路的 30 个关卡。你可以独自或和读书会一起记录读过的书、用过的 skill,并导出进度给你的上级看。

在地图上打开第 5-1 关 带到我的团队