データ基盤の管理者からGoogle Cloud全体の管理者になっていた話

2025/07/18 Data Engineering Study #30 の登壇資料です。
https://forkwell.connpass.com/event/357942/

株式会社ZOZO
データ・AI本部 データシステム部 データ基盤ブロック
塩崎 健弘

Transcript

1. データ基盤の管理者から Google Cloud全体の管理者になっていた話 株式会社ZOZO
 データ・AI本部 データシステム部 データ基盤ブロック
 
 塩崎 健弘 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO データ・AI本部 データシステム部 データ基盤ブロック 塩崎 健弘 ある日突然上司に呼び出されBigQueryにデータ基盤を構築する ことに。 当初のデータ基盤は手探りで構築していたこともあり 技術的負債が多かったため、テセウスの船のようなリプレイス を2, 3度行う。 最初はデータ基盤の管理者だったが、いつの間 にか全社的なGoogle Cloudの管理者になっていた。 2
3. © ZOZO, Inc. 3 紹介: 昨年末は狂気に満ちたAdventCalendarを書きました
4. © ZOZO, Inc. https://zozo.jp/ 4 • ファッションEC • 1,600以上のショップ、9,000以上のブランドの取り扱い • 常時107万点以上の商品アイテム数と毎日平均2,700点以上の新着 商品を掲載（2025年3月末時点） • ブランド古着のファッションゾーン「ZOZOUSED」や コスメ専門モール「ZOZOCOSME」、シューズ専門ゾーン 「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン 「ZOZOVILLA」を展開 • 即日配送サービス • ギフトラッピングサービス • ツケ払い など
5. © ZOZO, Inc. 5 気づけばData Engineering Study #1から5年経ちました 登壇Slide: https://speakerdeck.com/shiozaki/bigquery-behind-zozotown
6. © ZOZO, Inc. 6 5年間で色々ありました • ひたすらBigQueryにデータを集める日々 ◦ SQL Serverのデータが正しく(※)BigQueryに入った ◦ SQL ServerからリアルタイムでBigQueryにデータが入った ◦ SQL Server以外にもMySQLからBigQueryにデータが入った ◦ 気づけば社員(非開発部門も含む)の約4割がBigQueryを使うように • 自分自身の担当領域について ◦ CTOブロック(他社で言うCTO室のような組織)にも所属 ◦ Software Design誌への寄稿 × 2 ◦ データ基盤の管理者からGoogle Cloud全体の管理者にもなった(メインテーマ) ※ 正しく: 一部のデータが文字化けしていたり、時刻が9時間ズレたり、行数が微妙にズレていたりしない様子 TECH BLOG: https://techblog.zozo.com/entry/real-time-data-linkage-infrastructure 　 https://techblog.zozo.com/entry/data-infrastructure-replacement
7. © ZOZO, Inc. 7 管理業務は突然に • データ基盤構築を頑張った結果、Google Cloudに詳しい人と認識される • クラウド資産管理をしっかりしていこうという流れの中で管理者になる • プロジェクト一覧のMyFirstProjectに愕然としながらお掃除 TECH BLOG: https://techblog.zozo.com/entry/the-case-book-of-gcp-admin-beginner
8. © ZOZO, Inc. 8 やってて良かったSQL • ある程度のお掃除が済むとプロアクティブな活動もしたくなる • Google Cloud全社の管理業務する上でデータエンジニアの知見を活用 • とりあえず使えそうなものは全部BigQueryに入れる ◦ 監査ログ　> 100TB ◦ アセット情報(サーバーやテーブルなど) > 10TB ◦ 請求情報 > 1TB • 気合でSQLを書いて分析をする ◦ データ量が膨大なのでビッグデータの素養がないと無理 TECH BLOG: https://techblog.zozo.com/entry/gcp-governance-after Google Cloud Next Tokyo ‘23 登壇動画: https://cloudonair.withgoogle.com/events/next-tokyo/watch?talk=d1-inf-01
9. © ZOZO, Inc. 9 まとめ • データエンジニアの次のキャリアとしてクラウドの管理業務 ◦ いわゆるCCoE(Cloud Center of Excellence) • 管理業務する上でもデータエンジニアの知見は活きる ◦ 監査ログなどのデータは膨大 ◦ データエンジニアの知見がないと、これらの宝が活用できない • 懇親会ぼっちになりがちなので話しかけてもらえると嬉しいです 🍺 ◦ データエンジニアネタでも、Google Cloud管理ネタでも