見えないユーザの声はログに埋もれている！ ～ログから具体的なユーザの体験を数値化した事例紹介～

2024/06/21-22に開催された「スクラムフェス大阪」で発表した資料です
https://www.scrumosaka.org/

Transcript

1. 見えないユーザの声は ログに埋もれている！ ～ログから具体的なユーザの体験を数値化した事例紹介～ 株式会社ナビタイムジャパン　小南果穂
2. 「よいユーザ体験」は どうやって測る？ #1
3. イテレーティブな開発にはフィードバックが必要 Plan Plan Plan FB FB FB UX UX UX Develop Develop Develop
4. ユーザ体験のフィードバックになるもの 定量データ 定性データ
5. 定量データのメリット 離脱率 CV率 • 客観的 • 変遷を継続して観測できる • 説得力があり伝わりやすい 定量データ
6. 定性データのメリット • 数値で表せない具体的な体験を知 ることができる • 感情の動きをつかめる ユーザ テスト インタ ビュー 定性データ
7. ユーザ体験のフィードバックになるもの 定性データ ユーザ テスト インタ ビュー 本当はすべてのリリースで 両方のフィードバックを得たい が、ユーザテスト・インタビューは 実施難易度が高い ログを分析することで定性データの代替手段にする
8. 自己紹介 株式会社ナビタイムジャパン 小南 果穂 Kaho Kominami 2019年新卒として入社。 研究開発部門で機械学習を用いた渋滞予測機能である 「AI渋滞予報」などの開発を行うほか、 エンジニアと兼務のスクラムマスターとしてチームの 改善にも取り組んでいる。
9. 実際の 研究開発部門の事例 #2
10. 研究開発部門の抱える課題 NAVITIME バス NAVITIME ドライブ サポーター トラック カーナビ ・・・・ 各サービスのユーザー 研究開発（R&D）部門 各サービスの共通基盤
11. 研究開発部門の抱える課題 各サービスのユーザ ユーザからの距離が遠く、声が届きにくい 研究開発（R&D）部門 各サービスの共通基盤
12. 研究開発部門の抱える課題 研究開発（R&D）部門 各サービスの共通基盤 各サービスのユーザ 研究開発（R&D）部門 所属チームの専門性が高い 渋滞予測 経路探索 時刻表データ 道路 ネットワーク 該当する数が少なく 指標にしづらい
13. 事例をご紹介するチーム：交通情報チーム 車移動に関わるすべての人へ正確な道路交通情報の提供を目指す 渋滞予測
14. 欲しいフィードバックへの道のりは遠い 「渋滞予測は正確に感じられたか？」 「走っている時に困ることはなかったか？」 を数値にしたい・・・・ 渋滞予測精度改善のため数多くの施策をリリース・運用している 精度やUXが悪化していないか日々監視が必要 ユーザボイスは数が少なく不向き ユーザテスト・インタビューを全案件で実施も難しい どうやって？
15. ユーザの体験そのもの！ そこでナビタイムジャパンの強みに注目 日本全国の走行ログ 1日あたり約1,000万km = 地球250周分 （2022年1月時点） ※走行ログはユーザから許可を得て取得し 匿名化しているデータです https://api-sdk.navitime.co.jp/api/ column/use_of_probedata/
16. ログから抽出する UX評価指標の進化 #3
17. 2018年-2020年 チーム発足、UX指標の数値化を試みる 経路探索チームから交通情報チームが独立 1時間程度走行時、所要時間誤差◦◦分以上のユーザを◦◦%削減 チームの目標
18. 2018年-2020年 チーム発足、UX指標の数値化を試みる 再現 GPSログ ユーザが通った道を再現 出発した時間に渋滞予測した と仮定してシミュレート
19. 2018年-2020年 チーム発足、UX指標の数値化を試みる 再現 8:00出発 9:30 到着予測 10:00到着 2時間の経路で 30分の誤差が発生
20. 2018年-2020年 チーム発足、UX指標の数値化を試みる 本当にこの指標は ユーザの体験を反映させている？ 1時間程度走行時、所要時間誤差◦◦分以上のユーザを◦◦%削減 チームの目標
21. 2021年 OKRが導入される 顧客満足度を高める高い交通情報品質 • 「予測より早く到着できた」時より 「渋滞を外して遅れた」時の方がユーザ体験が悪い • 全体最適を重視する指標なので、一部のユーザに効果がある施策への モチベーションが低くなる • 「渋滞を抜けるまでに数時間かかる」ような ユーザ体験が著しく下がる場合に着目したい 昨年度までのふりかえり Objective
22. 「ユーザ体験が著しく悪化するケース」に着目した指標 重点課題区間の合計所要時間誤差を◦◦%以上削減 順調に行けると予測 →実際は渋滞していた が一番不満度が高い = 「重点課題区間」 順調 渋滞 順調 渋滞 予測 実際 KeyResult
23. さらに進化する評価指標（2022年） 日本一の所要時間精度を実現する • 昨年度までで評価指標の数字自体はかなり良いことがわかっている →　ではなぜ「日本一」と自信をもって言い切れないのか →　今までの指標では見つかっていない弱点がどこかにあるはず • 他社比較する計測を行いながらOKRを更新し、弱点であった一般道へのアプ ローチを開始した（詳しくはこちら『不確実性に打ち勝つOKR戦略』） KeyResult Objective 所要時間精度改善施策◦◦件リリース 一般道の重点課題区間50%削減（下半期追加）
24. さらに進化する評価指標（2023年） 2022年までは期初に決めた評価期間を対象に評価指標の計測を行っていた 今年は4月の 第二週にしよう 季節性のある イベントがある時は？ 台風や大雪の影響は？
25. 日次で改善人数を計測するシステムを構築 誤差が著しく大きいユーザ数 何もリリースしなかった 場合の人数 サービスに出ている 予測での改善人数 リリースによって どの期間に・どの程度 改善があったのか 見ることができる
26. 評価指標もアジャイル的に改善している 2022 2023 2024 ふりかえり ふりかえり ふりかえり
27. しかし・・・・ まだ評価指標がユーザボイスや社内指摘に あっていないと感じる・・・・ 数字には現れない課題感が依然あった
28. 気を付けなければ いけなかったこと #4
29. なぜか？はデザイン思考からも説明できる 共感 問題 定義 アイデア 創出 プロト タイプ テスト ユーザ体験についての仮説 評価指標決定 施策の実施 このフェーズをずっと試行錯誤しているが・・・・
30. 「共感」と「問題定義」の違い 共感 問題 定義 サンプリングして深く知る 範囲を広げて分析する
31. いままでのユーザ体験についての仮説の立て方 共感 問題 定義 多くのユーザを対象に「問題定義」をする 一般化からはじめてしまっている
32. いままでのユーザ体験についての仮説の立て方 共感 問題 定義 「共感」に戻る 必要があった
33. 2024年度の取り組み ユーザボイスを 深掘りして調査 調査箇所が 評価対象に入るように 実際に投稿された内容や 検索条件・通った道路も 見比べながら どこが原因かを特定
34. まとめ ユーザテスト・インタビューなどの代替手段として ログからユーザ体験を再現して評価指標にするという手法を提案 仮説を立てる際は実際のユーザボイス等数が少なくても得られる 生のユーザの情報を参照することで仮説の精度を高められる 評価指標には仮説を多く含むため、定期的なふりかえりが必要