Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

我が社が考える最強のデータ基盤・開発体制!アナリスト x エンジニアの最強バディ

kubell
December 09, 2024

我が社が考える最強のデータ基盤・開発体制!アナリスト x エンジニアの最強バディ

2024年5月22日(水)開催されたkubell主催イベント『我が社のデータ基盤開発現場 ~Chatwork編~』におけるLT「我が社が考える最強のデータ基盤・開発体制!アナリスト x エンジニアの最強バディ」発表資料です。
イベントページ:https://chatwork.connpass.com/event/318118/
登壇者:株式会社kubell コミュニケーションプラットフォーム本部 データアナリスト 田中 賢太

kubell

December 09, 2024
Tweet

More Decks by kubell

Other Decks in Business

Transcript

  1.        © Chatwork 我 社 考える最強のデータ基盤・開発体制! アナリスト x エンジニアの最強バディ 2024年05月22日 

    プロダクトエクスペリエンスユニット プロダクトオペレーションチーム 田中 賢太
  2. 自己紹介 58 • 田中賢太(たな んた) • @tadaken3(タダケン) • Chatwork ←

    LINE ← 任天堂 • データアナリスト • データをいい感じに集計・分析して、プロダクトの成長に繋 る • 嫁と子供(3歳👦)と3人 らし • 趣味:レトロゲーム集め https://chado.chatwork.com/entry/2024/03/12/100000 インタビュー
  3. 成果 出た と、アナリスト自ら新機能を実現 61 • アナリスト自ら、reverseETL(hightouch)を使ってエンジニアリソースを使わず に新機能を実現で た ◦ 開発工数

    確保で な 長 保留になっていた機能だった... ◦ 自らdbtでデータモデルを開発&検証を経て本番デプロイを実現 た 前回資料
  4. • 利用部門 自分たちで開発すると 、アナリストの人 開発なしで 新機能実現と す い。いい話す る •

    アナリストだ でリバースETL構築。素晴らしい • 「アナリスト 自ら分析機能を実現した」のは大 いな、データ民主 化はもはや当たり前で「データ分析」の民主化 必要 • データの利用者たち 横串でデータを利用で るようになる とって 素敵。DataOpsだなあ 「我 社 考える最強のデータ基盤'24最新版」の反響 63 実際のX(旧Twitter)のコメントはこちら https://twitter.com/hashtag/ChatworkTechTalk?src=hashtag_click&f=live
  5. 72 並列開発体制のハジマリ タダケン目線 dbtの開発に入りたい場合、以下のドキュメントを参考に、 開発コンテナをbuildするって感じでい ですよね?(すみません。ドキュメント見つ たので、勝手に) の辺りも 確認いただ るといい

    なと思います。 操作 よ わ らないと あればMeetと で画面共有しな らフォローと も で ますので、相談 だ い〜 基本的にはそうなります。 ただ、キャプチャのgitブランチ切ってないのでbuildは失敗します。 ブランチとタスクを紐づ るために ちら ら〜検証みたいなタスク切った上でそれに紐づ ブランチを作成して、 buildいただ ると通る と(新Dev環境整備中なので、で たら環境 切り替わ る感じにはなります じまさん みっつさん タダケン
  6. 74 最初は既存モデルの修正 ら手をつ て、、、 やった と 1. 既存のmodelの修正(まずはdbtになれる) 2. 既存のincremental

    modelの修正(差分更新の場合の 作法を学ぶ) 3. seedの開発(CSVデータなどの取り込み) 4. 新規のmodelの開発
  7. 79 Reverse ETLのハジマリ タダケン目線 事業側で、デジタルマーケティングツールに、snowflakeのデータ連携し たいのです 、なん いい方法ないです? モダンデータスタックのジャンル的には、Reverse ETLというと

    ろですね。 い つ のReverse ETLを検証したWiki あるので共有しますね みっつさん タダケン サポートしますのでわ らないと ろは 気軽に〜 じまさん
  8. 85 Reverse ETLを実装した で Reverse ETLを実装した で Reverse ETLを実装した で

    Reverse ETLを実装した で(2回目) エンジニアリソースを使わずに機能追加で てみんなHappy
  9. 87 dbtの開発に入りたい場合、以下のドキュメントを参考に、 開発コンテナをbuildするって感じでい ですよね?(すみません。ドキュメント見つ たので、勝手に) の辺りも 確認いただ るといい なと思います。 (別のドキュメントのURL)

    操作 よ わ らないと あればMeetと で画面共有しな らフォローと も で ますので、相談 だ い〜 基本的にはそうなります。 ただ、キャプチャのgitブランチ切ってないのでbuildは失敗します。 ブランチとタスクを紐づ るために ちら ら検証みたいなタスク切った上で それに紐づ ブランチを作成して、buildいただ ると通る と 新Dev環境整備中なので、で たら環境 切り替わる感じにはなります じまさん みっつさん タダケン 並列開発体制の本当のハジマリ
  10. • セルフサービスと自動化を通じて、開発業務の生産性を向上させること • アナリストチーム(not エンジニア) 開発に参加で 、より迅速に価値を提供で る • エンジニアは、プラットフォームをより拡充させる業務に取り組むこと

    可能 • 将来的には、生成AIを活用し、オペレーションチームやビジネスチームも 開発に参加で る も プラットフォームエンジニアリングとは? 91 *ガードナー 2022に提唱 た概念 cf. https://www.gartner.co.jp/ja/articles/what-is-platform-engineering
  11. まとめ 94 • 我 社 考える最強の開発体制は「並列開発体制」 ◦ データエンジニアとアナリストのバディ≒協業 • プラットフォームエンジニアリング

    ◦ ドキュメントの拡充 ◦ マネージドされたサービスの利用(モダンデータスタック) エンジニア アナリスト えらい人