dagstreamでデータ前処理の順序関係を解決する #stapy105

みんなのPython勉強会105回LT発表資料

Transcript

1. dagstreamでデータ前処理の 順序関係を解決する みんなのPython勉強会#105 坂本 陸 2024-6-20
2. 自己紹介 坂本 陸（Sakamoto Riku） • MLエンジニア（株式会社 RICOS） • Python, C++, C# GitHub: @riku-sakamoto Zenn: hedgeek 2
3. データ前処理 データ前処理 • データのサニタイズ • 特徴量の生成 • データ拡張 コーディング面での特徴 • 仕様の変更、拡張が頻繁に発生する • 処理の順序関係が重要である場合が多い データ前処理部におけるコードの品質は重要 （メンテナンスのしやすさ） データ前処理 機械学習モデル ポスト処理 機械学習システムの流れ 3
4. 前処理コード例 問題点 • 順序関係がコメント頼みで明 確でない ◦ funcCはfuncBより前でもいい のか • フラグによる実行有無の管理 はコードの複雑化を招く • 順序関係を壊さずに並列処理 できない 4
5. dagstream • 処理の順序づけを明示的に行 えるPython製のライブラリ GitHub: https://github.com/ricosjp/dags tream PyPI登録済み • pip install dagstream 5
6. dagstream • 描画できる（mermaid形式での出力） ◦ 順序関係が可視化され、次の機能追加に活かしやすい 6
7. まとめ • dagstreamは以下のことができます ◦ 前処理の順序関係を定義 ◦ 前処理間のパイプ（結果の受け渡し）を定義 ◦ 順序関係の可視化（mermaid 形式） ◦ 順序関係に沿った直列・並列実行 ◦ 部分的な順序関係の抽出 ◦ GitHub: https://github.com/ricosjp/dagstream 　 7