that aims at unifying ML system development (Dev) and ML system operation (Ops).” (Defined by Google) ◦ 機械学習システムにおけるDevOpsとエンジニアリングカルチャーとイテレーティブ な実践 • 従来のDevOpsだけでなく,ML特有の課題もありそれらを意識した取り組みが必要になっ ている! 引用: MLOps: Continuous delivery and automation pipelines in machine learning ・Design → 要件設定・優先順位・データの利用性 ・Model Development → データエンジニアリング・モデル開発/評価 ・Operations → モデルデプロイ・CI/CD・モニタリング Ref.:MLOps Principles
◦ 特徴量とデータのテスト ◦ モデル開発のテスト ◦ 機械学習インフラのテスト ◦ 機械学習のモニタリングテスト • 現状を把握することで,自分達のチームに何が足 りていないかを知ることができる → 次に何をすれば良いのかの指針になる Ref. 1. The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction 2. https://tech.connehito.com/entry/2021/09/30/181145