AWS Glueで始めるETLパイプライン

Transcript

1. AWS Glueで始めるETLパイプライン AWS活用 AI/ML/LLM #5 機械学習/大規模言語モデル データエンジニアリング 株式会社BLUEISH Software Engineer 戸塚 翔太 @totsumaru_dot
2. 自己紹介 株式会社BLUEISH
 AI Lead Engineer @totsumaru_dot 戸塚 翔太 e 普段はLLMアプリケーションの開発をしていま„ e 現在は法人向けAIエージェントプラットフォーム「BLUEISH Agents」 の開発を担当していま„ e 静岡県(浜松)に住んでいますが、今年中に東京へ引っ越したい...
3. AWS認定（今年1月から開始）
4. イベントを多数開催しています！
5. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
6. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
7. ETLとは？ ETL（Extract・Transform・Load）
8. ETLとは？ ETLツールを使うメリット Y データ処理にかかるコストを下げH Y データ処理におけるヒューマンエラーを防Q Y 点在するデータを統合して活用可能にすH Y データの品質向上に貢献する
9. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
10. AWS Glueとは？
11. AWS Glueとは？
12. AWS Glueとは？
13. AWS Glueとは？
14. AWS Glueとは？
15. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
16. GlueでETLパイプラインを組む S3 (users.csv) Glue S3
17. GlueでETLパイプラインを組む S3 (users.csv) 社員一覧のダミーデータをS3に用意
18. GlueでETLパイプラインを組む Glue クローラーの作成
19. GlueでETLパイプラインを組む Glue クローラー名を定義
20. GlueでETLパイプラインを組む Glue S3のデータソース(csv)を選択
21. GlueでETLパイプラインを組む Glue IAMロールの新規作成
22. GlueでETLパイプラインを組む Glue Database(Data Catalog)を作成
23. GlueでETLパイプラインを組む Glue クローラーの作成が完了 → Run
24. GlueでETLパイプラインを組む Glue テーブルでスキーマが表示される
25. GlueでETLパイプラインを組む Glue ジョブを作成 → Visual ETL
26. GlueでETLパイプラインを組む Glue 1つ目: データソースの選択/設定
27. GlueでETLパイプラインを組む Glue 2つ目: スキーマ変換
28. GlueでETLパイプラインを組む Glue メールアドレスを削除してみます
29. GlueでETLパイプラインを組む Glue 3つ目: 出力先/フォーマットの指定 → Run
30. GlueでETLパイプラインを組む Glue 失敗したのでポリシーを修正...
31. GlueでETLパイプラインを組む Glue 度重なる失敗を経て成功
32. GlueでETLパイプラインを組む S3 (users.csv) 最初はメールアドレスがありましたが...
33. GlueでETLパイプラインを組む S3 (output.csv) メールアドレスが無くなりました
34. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ
35. まとめ E Visual Editorを使うことでノーコードでの変換が可 E ただし、コードで書いてしまった方が早い場合もあ E 形式変換(parquetなど)はETLパイプラインを組む方が楽になりそう
36. Thank you!