Upgrade to Pro — share decks privately, control downloads, hide ads and more …

システムマイグレーションでの不確実性への挑戦

 システムマイグレーションでの不確実性への挑戦

2022.10.21『KGDC Tech Conference #3 KDDIグループの「ごったに!」会』にて、Supership 横井勝 が登壇の際に投影した資料です。
イベント詳細はこちら:https://kgdc.connpass.com/event/261136/

Supershipの広告用配信で用いたログやお客様の属性情報などを保存・分析する環境で、Hadoop Clusterだった部分をSnowflakeに一部切り替えを行った際の手順を苦労話を交えてご紹介しました。

仕事を始めるときには、未来が予見できずに不確実です。 特に未経験な領域は難しい です。
不確実性への挑み方のノウハウは、様々な書籍やWebサイトなどに情報があり、参考に なりました。勇気づけられました。
Supershipではデータエンジニアを始め、様々な職種で募集をしております。
https://supership.jp/recruit/

やったことないこと、不確実なことへ挑むことにご興味のある方、 SnowflakeとかDatabricksに興味ある方、 ぜひご応募ください!!

Supership株式会社

October 26, 2022
Tweet

More Decks by Supership株式会社

Other Decks in Technology

Transcript

  1. 移植にあたっての段取り いままで: Hadoopクラスタで処理していた これから: Snowflake に移行する。 段取り • データの流れる経路の切り替え •

    Hadoopクラスタで動いていたJob, Pipelineの移植 • データ分析者が案件に応じて実行していたQueryの移行 ↑ 今回はここをテーマに
  2. どうしたかった (移植担当者として)明らかにしたかったこと: • 移植対象のSQLクエリと目的を調べて、全部移植したい。 困ったこと • 分析をする部署同士で、他部署が何をしているかは知らない。 • 同じ部署の同僚同士でも業務の領域が違うと、同様に知らない。 •

    部署の管理職は部署内の分析者の業務の詳細までは知らない。 ◦ 権限移譲と信頼が上手くできていると、前向きに考えられる。 • 利用パターンの調査なんて、いきなり完璧な調査なんてできない。調査や移植が 1発で終わるような、甘い世界ではなかった。 • 移植が必要なパターンを列挙していると、多くて果てしない目標に見えてき た。。 5
  3. どうした? いきなり完璧なものを求めるのは止めた。 • アジャイルのイテレーションの発想 ◦ 一発で完全な洗い出しを要求しても、精神的負担が強かったり。 ◦ できる範囲のサイズに分割して取り組めば良さそう、など。 • 不確実性コーンの話

    ◦ 見積もりの段階では予想の幅があるが、設計や実装を進めると見 積もりが正解に近づく話。 ◦ 2,3回ぐらいのヒアリングと移植をしていったら、だいたい移植が 完了した。 • MoSCow分析を応用した: Most, Should, Could, Won’t ◦ Most→Shouldなどの必要なものから順に着手 参考になった書籍: エンジニアリング組織論への招待 - 不確実性に向き合う 思考と組織のリファクタリング (広木大地 著) 6
  4. どうなった • 各業務の担当者と複数回のヒアリングで、移植できるものは移植でき た。 ◦ 一発のヒアリングでは完成せずに炎上しただろうな。。 • 当初予想していなかった、移植では解決しない業務も見つかり、別途 対処した。 ◦

    何があるのか予見できない話、そのものでした。 ◦ 別の方法で対処することにした。 • 大きな問題・課題でも、小さく分解することで対応できるようになっ た。 ◦ 速度が遅くても、確実に片付くようになった。 果てしない目標に見えていましたが、最終的には片付きました。 7