Google Cloud の AI を支える裏側のインフラを垣間見る！

2024年4月17日に開催した「クラスメソッドGoogle Cloud Next ’24ふり返り勉強会」の登壇資料です。
https://classmethod.connpass.com/event/311280/

Transcript

1. Google Cloud の AI を支える
 裏側のインフラを垣間見る！
 クラスメソッドGoogle Cloud Next ’24ふり返り勉強会
 アライアンス事業部
 大栗　宗
 1 #cm_next24recap
2. 自己紹介 大栗　宗（@maroon1st） Next は 2回目の参加 日系SIer → クラスメソッド → 某外資 → クラスメソッド (2回目) ラスベガスは 9回目（ハワイは 2回目） Cloudflare のプリセールスをやったり二刀流 Top Engineer • Cloudflare, Google Cloud, AWS, etc • Google Cloud Partner Top Engineer 2023, 2024 • 2022, 2023 Japan AWS Top Engineers (Database) • 2022, 2023 Japan AWS All Certifications Engineers #cm_next24recap
3. 行ってきました！ #cm_next24recap
4. #cm_next24recap
5. #cm_next24recap
6. #cm_next24recap
7. Opening Keynote: The new way to cloud #cm_next24recap
8. Opening Keynote: The new way to cloud ほとんど生成 AI に関する発表でしたが、 生成 AI を支える裏方の発表に少し目を向けてみます。 • コンピュート ◦ TPU v5p ◦ Axion • GPU ◦ A3 Mega VMs (NVIDIA H100) ◦ GB200 NVL72 • ストレージ機能 ◦ Cloud Storage Fuse Caching ◦ Parallelstore Caching ◦ Hyperdisk ML • etc #cm_next24recap
9. Google Axion #cm_next24recap
10. TPU / Cloud GPU / GDC Cloud TPU Cloud GPU Distributed Cloud #cm_next24recap
11. ストレージに関するセッション ARC306 How to define a storage infrastructure for AI and analytical workloads AI と分析でユースケースに合わせた最適なストレージソ リューションを学ぶセッション #cm_next24recap
12. ストレージに関するセッション AI データパイプラインで、データ プレパレーション、トレーニ ング、推論にストレージに関する課題がある #cm_next24recap
13. データ プレパレーション • Anywhere Cache：ゾーンごとのキャッシュで Cloud Storage のスループットを向上させる #cm_next24recap
14. トレーニング • Cloud Storage FUSE local cache：I/O のリード高速化 • Accelerated Dataloader：Pytorch で GCS からデータを高速 にロードする #cm_next24recap
15. トレーニングとチェックポイント • Parallelstore：DAOS の並列ファイルシステム • Hyperdisk ML：AI に最適化されたブロック ストレージ #cm_next24recap
16. モデルの提供（推論） • Hyperdisk ML：AI に最適化されたブロック ストレージ • Cloud Storage FUSE：バケットを直接マウント #cm_next24recap
17. クラウド ストレージの新機能 #cm_next24recap
18. ウーブン・バイ・トヨタ マルチクラウドでの AI プラットフォーム環境を構築 #cm_next24recap
19. ウーブン・バイ・トヨタ 以前のクラウド トレーニング ソリューションでは Lustre サービスを使用していたが大規模化で問題発生 #cm_next24recap
20. ウーブン・バイ・トヨタ Cloud Storage FUSE により十分なパフォーマンスで 低コストになりデータコピーも不要に #cm_next24recap
21. ウーブン・バイ・トヨタ プレビューの Cloud Storage FUSE Anywhere Cache で 2回目のトレーニングが 33％ 高速化 #cm_next24recap
22. それだけではなく #cm_next24recap
23. Google Cloud 全体を 裏側で支える機能 #cm_next24recap
24. Titanium #cm_next24recap
25. Titanium Google のデータセンターのイノベーションは、 Jupiter、Borg、Colossus #cm_next24recap
26. Titanium • Titan セキュリティ • スケーラブル ファブリック • 階層的オフロード #cm_next24recap
27. Titanium #cm_next24recap
28. Titanium #cm_next24recap
29. Titanium #cm_next24recap
30. Titanium #cm_next24recap
31. Titanium #cm_next24recap
32. Titanium #cm_next24recap
33. サマリ • Google の AI の進化はデータサイエンスだけではない • ストレージの進化も AI にマウントは必要 • データセンター規模のスケールを支える イノベーションがある #cm_next24recap
34. 34 #cm_next24recap