AWSで始める実践Dagster入門

DevelopersIO 2025 Osaka #devio2025での登壇資料
関連ブログ：https://dev.classmethod.jp/articles/devio2025-osaka-aws-dagster-introduction/

Transcript

1. AWSで始める 実践Dagster⼊⾨ 北川然平 データ事業本部ビジネスソリューション部データエンジニアリンググループ
2. アジェンダ
3. アジェンダ 3 1. Dagsterの概要と利点 2. Dagsterのコアコンセプト 3. Dagster + dbt統合 4. AWS環境でのDagster構築 5. 個⼈的な課題 6. まとめ
4. 1. Dagsterの概要と利点
5. Dagsterとは 5 • モダンなデータエンジニアリングのために設計されたオープンソースの データオーケストレーター • ソフトウェア定義アセットを中⼼に据えた設計 • 宣⾔的かつデータ意識的なワークフロー管理を実現 アセット = データベースのテーブル、データセット、MLモデルなど
6. データオーケストレーション 6 • アセットを第一級オブジェクト として扱う • 依存関係や最新性（freshness）を組み込み • 品質チェックの統合 • 処理の再現性と信頼性を飛躍的に向上 従来のタスクベースのオーケストレーションでは解決できない課題をクリアする Dagster公式からはこんな記事も... Dagster vs Airflow: Feature Comparison データオーケストレーションとは？
7. タスク中⼼からアセット中⼼への転換 7 https://stable.co.jp/blog/dagster-asset-centric
8. タスク中⼼からアセット中⼼への転換 8 https://stable.co.jp/blog/dagster-asset-centric
9. タスク中⼼からアセット中⼼への転換 9 • 直感的な理解しやすさ • 依存関係の⾃動管理 • 効率的な実⾏ • データリネージの可視化 「どうやって処理するか」から「何を作り出すか」にパラダイムシフトする アセット指向だと何が嬉しいのか？
10. タスク中⼼からアセット中⼼への転換 10 https://stable.co.jp/blog/dagster-asset-centric
11. タスク中⼼からアセット中⼼への転換 11 https://stable.co.jp/blog/dagster-asset-centric
12. 統合的なリネージ‧監視 12 • Dagster UIで一元管理 ◦ 実行ログ ◦ アセットの更新履歴 ◦ 依存関係グラフ • どのジョブがどのアセットに影 響したか即座に把握 • 障害発生時のトラブルシュー トが迅速
13. 組み込みデータ品質機能 13 • コードレベルでのバリデーション • アセットの新鮮度チェック • テスト機能を標準搭載
14. 強⼒な型システムとランタイム検証 14 • Python型アノテーションを使った検証 • 実行前後にデータの整合性チェック • 変換エラーやスキーマ不整合を早期検知 • 公式MCPが用意されるという噂も...？ アナウンスされてました！ Dagster’s MCP Server
15. 柔軟なスケーリングとCI/CD対応 15 • 同じコードをそのまま本番へ ◦ 設定ファイルを切り替えるだけでECS上にデプロイ • CI/CDツールと相性◎ ◦ GitHub Actionsでビルド→ECRプッシュ→タスク更新を自動化 • ECS Fargate対応 ◦ サーバレス運用でインフラ管理を最小化
16. dbtなど他ツールとのシームレス連携 16 • dbtモデルをDagsterアセットとして直接組み込み • 上流のPython処理や下流のMLパイプラインと一体運用 • 既存dbtプロジェクトをほぼそのまま移行可能 dbtは公式の学習コンテンツも 用意されている Dagster University | Dagster & dbt
17. 2. Dagsterのコアコンセプト
18. ソフトウェア定義アセット（SDA） 18 • データベースのテーブル、データセット、MLモデルなどを「アセット」とし て定義 • 依存関係を明⽰し、データ系のプロセスをアセット単位で管理 • 再現可能性の向上
19. ジョブ 19 • アセットの更新や複数の処理ユニット（ops）をまとめた実⾏単位 • スケジュール（Schedule）やイベントトリガー（Sensor）と組み合わせて運 ⽤
20. パーティション 20 • 時間やその他キーでデータを分割 • 差分だけを効率的に再処理 • ⼤規模データの増分処理を簡潔に実装
21. リソース 21 • データベース接続やクラウ ドサービスAPIなど外部依 存を構成化 • ジョブ実⾏時に⾃動注⼊、 クリーンアップも⾃動化
22. 3. Dagster + dbt統合
23. なぜDagster + dbt？ 23 • dbtの変換ロジックをDagsterのアセットグラフに統合 • 上流・下流処理との一体運用 • 統一的な監視・スケジューリング • dbtテストの可視化
24. dbtプロジェクトのロード 24 これだけでdbtとDagsterが統合できます。
25. @dbt_assetsデコレータ 25 • dbtのモデル・スナップショット・シードをアセット化 • 個別モデルのマテリアライズイベントがUI上で可視化
26. dbtテストのAsset Checks統合 26 • デフォルトでdbt定義のテストを統合可能 • 設定不要でテストの実行履歴や結果を確認できる
27. スケジュール設定 27
28. 4. AWS環境でのDagster構築
29. 本番環境で推奨されるアーキテクチャ 29 本⽂ https://docs.dagster.io/deployment/oss/oss-deployment-architecture
30. 本番環境で推奨されるアーキテクチャ 30 本⽂ https://docs.dagster.io/deployment/oss/oss-deployment-architecture
31. AWS環境構築の概要 31 • Dagster Webserver / Dagster Daemon / User Code を ECS それぞれ独立 サービス化 • RDS (PostgreSQL) にメタデータを永続化し冗長化 • Secrets Manager で資格情報を暗号化保管しタスクへ安全に注入 • Auto Scaling & Fargateでコスト最適化しながらピーク時にスケールアウト • IaC (Terraform / AWS CDK) によりデプロイや環境複製を自動化 この構成をやってみたブログがあります！ Dagsterとdbt CoreをECS on Fargateで構築する | DevelopersIO
32. ECS on Fargateでの構成 32
33. 5. 個⼈的に感じた課題
34. 課題 34 • 学習コスト : ◦ アセット指向、リソースなど独自概念が多い ◦ ドキュメントや参考になるコード片がまだまだ少ない →生成AIもあまり賢く答えてくれない ◦ （嬉しいことでもあるが）更新が活発で既存のやり方がベストプラクティスではなくなるこ とも • 事例の少なさ : ◦ 本番環境での運用事例が（特に日本では）少ない ◦ 運用を見据えた構成の検討が難しい • 認証・権限 : ◦ OSS版は認証機能なし ◦ RBACなどももちろんなし
35. 6. まとめ
36. Dagsterがもたらす価値 36 • 信頼性向上 : アセット中心の宣言的管理 • 開発速度向上 : テスト容易性と再利用性 • 運用可視化 : 統合的な監視とリネージ → 使いこなすことができれば強力なツールになる → 可能性は無限大！
37. 参考資料 37 • Dagster公式ドキュメント • Dagster + dbt統合ガイド • Dagster University • Dagsterとdbt CoreをECS on Fargateで構築する | DevelopersIO • dagsterの特徴「アセット指向のワークフロー」を理解する • Dagster vs Airflow: Feature Comparison • ゼロから始めるDagster・すぐに使える実践ガイド