現役データアナリストが語るゲーム運営におけるデータ分析設計・マネジメントとは/Data analysis design and management in game operation

Transcript

1. 現役データアナリストが語るゲーム運営における データ分析設計・マネジメントとは 2023年1月26日 株式会社バンダイナムコネクサス データ戦略部データアナリティクスオフィス 中村 一哉 滝 隆行
2. 目次 ・登壇者紹介 ・バンダイナムコネクサス紹介（事業内容と組織体制） ・データアナリティクスセクションの分析業務フローと問題点 ・データオペレーションセクションの設立背景と役目 ・最後に
3. 自己紹介 株式会社バンダイナムコネクサス データ戦略部プロダクトアナリティクスオフィス オフィス長 中村 一哉 【経歴】 生命保険会社（数理部）➡商社（トレーダー）➡gloops（データ分析） ➡シリコンスタジオ（データ分析）➡BNX（データ分析4年目） 【趣味】 LEGO、娘(1歳7か月)と遊ぶこと
4. 自己紹介 株式会社バンダイナムコネクサス データ戦略部プロダクトアナリティクスオフィス 副オフィス長兼データオペレーションセクション セクション長 滝 隆行 【経歴】 Webエンジニア（テレビ連動など大量トランザクションを扱う） ➡ gloops（ソシャゲ開発エンジニアからデータ分析に転身） ➡ シリコンスタジオ（データ分析＆エンジニア） ➡ BNX（データ分析） 【趣味】 歴史系の本を読む、犬(2歳0か月)と遊ぶこと
6. ブラウザプラットフォーム「enza」 HTML5を用いたブラウザゲーム プラットフォームの運用 「ファンゲージ(Fangage)」 IPファン向け情報発信の機能 開発・運営 「データ分析」 事業単体・横断分析の委託事業
7. データ戦略部
8. データ戦略部
9. プロダクトアナリティクスオフィス 9 プロダクトアナリティクスオフィス データアナリティクスセクション データオペレーションセクション 主に親会社BNEが運営するスマホゲーム、家庭用ゲームタイトルの各種分析、KPIツール作成をおこなう 分析部隊 分析環境構築・保守運用、データアナリストのサポート業務 2021年秋に新設した部署
10. プロダクトアナリティクスオフィス 10 プロダクトアナリティクスオフィス データアナリティクスセクション データオペレーションセクション 主に親会社BNEが運営するスマホゲーム、家庭用ゲームタイトルの各種分析、KPIツール作成をおこなう 分析部隊 分析環境構築・保守運用、データアナリストのサポート業務 2021年秋に新設した部署
11. プロダクトアナリティクスオフィス 11 プロダクトアナリティクスオフィス データアナリティクスセクション データオペレーションセクション 主に親会社BNEが運営するスマホゲーム、家庭用ゲームタイトルの各種分析、KPIツール作成をおこなう 分析部隊 分析環境構築・保守運用、データアナリストのサポート業務
12. データアナリティクスセクション 12 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供
13. データアナリティクスセクション 13 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 KPIの定点観測や新規施策・機能実装後など分析によって原因究明や効果検証が必要な課題を発見する
14. データアナリティクスセクション 14 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 仮説とその立証のための分析設計をおこなう。弊社では分析設計の段階でチームレビューをおこなうことによって分析クオリ ティの向上を図っている。
15. データアナリティクスセクション 15 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 分析に必要なデータマートの作成をおこなう（BigQuery）
16. データアナリティクスセクション 16 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 分析と結果の考察。結果によっては仮説・分析設計に戻りやりなおすこともしばしば
17. データアナリティクスセクション 17 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 分析報告書の提出とプロダクトのプロデューサーや開発会社のディレクターに対してプレゼンをおこない分析結果は確実に伝 える
18. データアナリティクスセクション 18 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 分析報告書の提出とプロダクトのプロデューサーや開発会社のディレクターに対してプレゼンをおこない分析結果は確実に伝 える。また、結果の報告だけでなく改善策の提案をおこなうまでを分析報告としている。
19. データアナリティクスセクション 19 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 プレゼン後、議論しプロダクト側（主にプロデューサー）に分析結果を基にした意思決定（施策の導入、廃止など）を促し、 場合によっては更なる深堀分析をおこなう。
20. データアナリティクスセクション 20 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 ↑上記の分析サイクルを毎週～隔週のペースでこなしている。 が、アナリストの増加に伴い問題が浮き彫りになってきた
21. データアナリティクスセクション 21 プロダクトの売上最大化 【プロダクト分析業務のフローサイクル】 課題発見 仮説・分析設計 データ抽出・加工 分析 報告・プレゼン 議論・意思決定 を目的にデータ分析コンサルティングサービスをバンダイナムコグループ全体に提供 見るべきKPIが精査さ れているツールが必要 ・データ加工抽出に時間がかかり分析に充てる時間が不足 ・データ欠損・重複などがおきると対応に時間を取られる ・分析で多用するデータセットのスケジュールバッチがほしい
22. データ分析業務での問題点 ①分析で多用するデータマートやスナップショットのスケジュール化の類雑化、学習コスト これまではBQのスケジュール機能やcronでスケジュール登録をしていたが、アナリスト増加に伴い、扱うタイトルも増えたことで 管理が煩雑になり、新人アナリストにcronを覚えさせる学習コストも課題となっていた ②ログデータの欠損、重複、そもそもログが吐きだされていないなどの分析外トラブル 影響規模の把握や開発会社とのやりとりで時間を大きく取られるため、一度トラブルが起きると分析官の報告ペース に支障をきたすことが多かった。 ③見るべきKPIが定まっていない、一本化されていない ツールが乱立していたり、同じ指標でも定義が異なるので数値に差異があったり、見ずらいなど問題点が多く 分析官として推奨できるツールの提供を求められることもしばしば これまでは各アナリストが全て一人で対応していたが、分析官は分析だけに集中させるべきというPAの理念に基づきこれらを包括 的にサポートする部署の立ち上げを2021年秋におこなった。
23. データオペレーションセクション（DOP）の設立 23 DOPセクション立ち上げの責任者として滝（現PA副オフィス長兼DOPセクション長）を任命 アナリティクスエンジニア部隊を設立し、データアナリストのサポート体制を構築 【DOPの主なサポート業務】
24. スケジューラーの開発・運用 24 背景 BQのスケジュール機能やcronでスケジュール登録していた ・cronは非エンジニアでは扱いづらい ・BQのスケジューラは登録は簡単だが機能が不足 ・どこでどのようなクエリが実行されているか分かりづらい ・エラーがあっても気づきにくいなど 方針 必要なクエリを一か所にまとめて管理しやすいようする 複雑化しないように必要最小限の機能を実装する 非エンジニアでも分かりやすいWebインターフェースで作る（単純なフォーム） cloud composerとかの既成品も良いけど導入に時間かかりそうなので自分で作る（1か月で作成、1か月テストでリリース） 主な機能 日毎、週毎、月毎に時刻指定してスケジュールを実行、手動実行 クエリにオリジナルの変数を指定できるようにする 特に日付部分を変数化して、過去に遡って日付を変えながら再実行できるように工夫 日付範囲指定しての一括実行 成功をした場合に次の処理に行う順番実行 履歴表示と履歴からの再実行 今回のクエリ実行結果と前のクエリ実行結果のレコード数を比較して差分が0件だった場合にSlackにアラートを飛ばすなどのアラート機能
25. データが欠損している クエリの実行結果で発見 クエリの参照先テーブルの最終更新日時やレコード数を履歴として取っておく 早期発見、どのような状態かを把握して分かりやすく連絡 データがJSON形式のSTRINGで一つのカラムにまとめて入っている クエリが書きづらい、JSONカラムを読み取るとスキャン容量が大きくコストかかる スクリプト作ってJSONの中身を解析して、JSONを展開したテーブル作成用のクエリを生成 クエリ作成のサポート テーブル定義書などメタデータの調達（調べた方が早い場合、実際にゲームをしてどのようなデータが入るのか確認） 実行に時間のかかるクエリの最適化 分析用のログ設計のサポート ツール化、自動化 過去に起こった問題の一覧化、ナレッジ化
26. ツールが乱立（エクセル、スプレッドシート、その他BIツール） 同じ指標でも定義が異なり比較がしづらい 共通する見るべきKPIは精査してすぐに作成できるようにしておくべき コストや学習面からデータポータルを採用 同じ指標は同じ定義になるように整理 共通の中間テーブルを作成しDOPセクションで管理する テンプレートを作成し、データソースを入れ替えればすぐに作成できるようにしておく 無料 可視化ツールという観点では十分な機能 （良くも悪くも）機能が可視化に特化していて学習コストが低い Googleアカウントで簡単に共有できる
27. 分析官は分析だけに集中させるべき 分析が先かデータが先か・・・ ナレッジの蓄積・共通化