Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS Glueで始めるETLパイプライン

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Shota Totsuka Shota Totsuka
March 04, 2025
95
0

AWS Glueで始めるETLパイプライン

Avatar for Shota Totsuka

Shota Totsuka

March 04, 2025

More Decks by Shota Totsuka

See All by Shota Totsuka
Figma to Codeから Code to Figmaへ
Avatar for Shota Totsuka totsukash
0
1.5k
コードレビューはCLAUDE.md/skillsに書け。同じ指摘を繰り返すな。
Avatar for Shota Totsuka totsukash
20
19k
HITL実装によるマルチエージェント組織の設計パターン
Avatar for Shota Totsuka totsukash
1
93
Claude Codeの知らない知識に立ち向かう
Avatar for Shota Totsuka totsukash
1
800
Claude Codeの知らない知識、ADK, A2Aを用いた プロダクト開発をClaude Codeで行う
Avatar for Shota Totsuka totsukash
0
1.3k
Claude Code で Vibe Coding
Avatar for Shota Totsuka totsukash
1
94
MCP, A2Aをプロダクトに組み込んで 開発している話
Avatar for Shota Totsuka totsukash
1
55
Mastra活用｜Text-to-SQLの実装と応用
Avatar for Shota Totsuka totsukash
1
230
Bedrockでのプロンプト管理戦略
Avatar for Shota Totsuka totsukash
3
210

Featured

See All Featured
Building AI with AI
Avatar for Ines Montani inesmontani
PRO
1
910
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
82
6.2k
Statistics for Hackers
Avatar for Jake VanderPlas jakevdp
799
230k
Building Adaptive Systems
Avatar for Chris Keathley keathley
44
3k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
Avatar for soudai sone soudai
PRO
199
73k
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
100
Java REST API Framework Comparison - PWX 2021
Avatar for Matt Raible mraible
34
9.3k
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
Avatar for AKADEMIYA2063 akademiya2063
PRO
1
94
KATA
Avatar for Megan Lloyd mclloyd
PRO
35
15k
Test your architecture with Archunit
Avatar for Yoan thirion
1
2.2k
Impact Scores and Hybrid Strategies: The future of link building
Avatar for Tamara Novitovic tamaranovitovic
0
260
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
96
14k

Transcript

  1. AWS Glueで始めるETLパイプライン AWS活用 AI/ML/LLM #5 機械学習/大規模言語モデル データエンジニアリング 株式会社BLUEISH Software Engineer

    戸塚 翔太 @totsumaru_dot

  2. 自己紹介 株式会社BLUEISH
 AI Lead Engineer @totsumaru_dot 戸塚 翔太 e 普段はLLMアプリケーションの開発をしていま„

    e 現在は法人向けAIエージェントプラットフォーム「BLUEISH Agents」 の開発を担当していま„ e 静岡県(浜松)に住んでいますが、今年中に東京へ引っ越したい...

  3. AWS認定（今年1月から開始）

  4. イベントを多数開催しています！

  5. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ

  6. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ

  7. ETLとは？ ETL（Extract・Transform・Load）

  8. ETLとは？ ETLツールを使うメリット Y データ処理にかかるコストを下げH Y データ処理におけるヒューマンエラーを防Q Y 点在するデータを統合して活用可能にすH Y データの品質向上に貢献する

  9. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ

  10. AWS Glueとは？

  11. AWS Glueとは？

  12. AWS Glueとは？

  13. AWS Glueとは？

  14. AWS Glueとは？

  15. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ

  16. GlueでETLパイプラインを組む S3 (users.csv) Glue S3

  17. GlueでETLパイプラインを組む S3 (users.csv) 社員一覧のダミーデータをS3に用意

  18. GlueでETLパイプラインを組む Glue クローラーの作成

  19. GlueでETLパイプラインを組む Glue クローラー名を定義

  20. GlueでETLパイプラインを組む Glue S3のデータソース(csv)を選択

  21. GlueでETLパイプラインを組む Glue IAMロールの新規作成

  22. GlueでETLパイプラインを組む Glue Database(Data Catalog)を作成

  23. GlueでETLパイプラインを組む Glue クローラーの作成が完了 → Run

  24. GlueでETLパイプラインを組む Glue テーブルでスキーマが表示される

  25. GlueでETLパイプラインを組む Glue ジョブを作成 → Visual ETL

  26. GlueでETLパイプラインを組む Glue 1つ目: データソースの選択/設定

  27. GlueでETLパイプラインを組む Glue 2つ目: スキーマ変換

  28. GlueでETLパイプラインを組む Glue メールアドレスを削除してみます

  29. GlueでETLパイプラインを組む Glue 3つ目: 出力先/フォーマットの指定 → Run

  30. GlueでETLパイプラインを組む Glue 失敗したのでポリシーを修正...

  31. GlueでETLパイプラインを組む Glue 度重なる失敗を経て成功

  32. GlueでETLパイプラインを組む S3 (users.csv) 最初はメールアドレスがありましたが...

  33. GlueでETLパイプラインを組む S3 (output.csv) メールアドレスが無くなりました

  34. 01 ETLとは？ 02 AWS Glueとは？ 03 GlueでETLパイプラインを組む 04 まとめ アジェンダ

  35. まとめ E Visual Editorを使うことでノーコードでの変換が可 E ただし、コードで書いてしまった方が早い場合もあ E 形式変換(parquetなど)はETLパイプラインを組む方が楽になりそう

  36. Thank you!