Datadog RUM を用いた UX 指標の監視・顧客対応への活用

Datadog セミナー：ユーザー体験を守る！
活用事例から学ぶフロントエンド監視
https://www.datadoghq.com/ja/event/casestudies-seminar202411/

Transcript

1. Datadog RUM を用いた UX 指標の監視・顧客対応への活用 〜 非エンジニアがDatadogを使いこなす 〜
2. 2 01 02 03 はじめに 自己紹介 04 非エンジニアによる活用 Session Replay UX指標の監視 RUM ダッシュボード 自社の課題 会社概要、Goalsが抱える課題
3. 3 01 02 03 はじめに 自己紹介 04 非エンジニアによる活用 Session Replay UX指標の監視 RUM ダッシュボード 自社の課題 会社概要、Goalsが抱える課題
4. 自己紹介 職域：SRE/インフラエンジニア 所属：プラットフォーム開発 イネイブリングチーム（旧SREチーム） 経歴：HR系ソフトウェア → 株式会社Goals X（旧 Twitter）アカウント：@imamura_ko_0314 （本日の資料も後日投稿予定ですので、フォローお願いいたします！！） 今村 光希 Kohki Imamura 4
5. 経歴 5 前職：アプリケーションエンジニア 2020/12：株式会社Goals ジョイン 2021/02：インフラエンジニアへジョブチェンジ 同月：Datadog導入 （Datadog導入時の選定理由について、記事書いています） https://findy-tools.io/products/datadog/5/221 2021/10：インフラチーム（SREチームの先駆け）組成
6. 6 01 02 03 はじめに 自己紹介 04 非エンジニアによる活用 Session Replay UX指標の監視 RUM ダッシュボード 自社の課題 会社概要、Goalsが抱える課題
7. 会社概要 代表取締役社長 CEO 佐崎 傑 私たちは、「食品産業の、ロスをなくす。」というミッションのもと、 日本が誇る食品産業の課題を最先端のテクノロジーで解決することを目指します。 7 東京都港区芝5-3-2 +SHIFT MITA 3F 所在地 設立 従業員数 7月 9日 2018年 83 名 (2024年8月1日時点) さざき たかし 取締役 CTO 多田 裕介 ただ ゆうすけ 取締役 COO 渡邉 真啓 わたなべ まさひろ
8. Company Name www.yourwebsite.com - info@yourwebsite.com 人件費や材料費のロス、成長機会のロス、食品廃棄のロス。 食品産業には、長く課題意識を持っているにも関わらず、 手をつけられていない様々な「ロス」が存在する。 私たちはそうした難題に挑む顧客に寄り添い、 アイデアとテクノロジーで事業の拡大に貢献します。 「食」という産業が、人々の暮らしをさらに彩り続ける未来に向けて。 OUR MISSION 食品産業の、ロスをなくす。
9. 目指すソリューション 原価・人件費・ 販売の最適化 在庫・物流計画 の最適化 生産計画の 最適化 外食 市場規模21.3兆円 食品流通 市場規模36.4兆円 食品製造 市場規模38.4兆円 需要の フィードバック 配送 需要の フィードバック 配送 9 資本ではなく、データによって食品産業をスマートに 「令和4年農業・食料関連産業の経済計算（概算）」(農林水産省）（https://www.maff.go.jp/j/tokei/kekka_gaiyou/keizai_keisan/r4/index.html) をもとに当社作成
10. Goalsが「いま」取り組んでいる領域 10 食品産業のサプライチェーン全体のうち 1stターゲットとして外食向けプロダクトを展開 在庫・物流計画 の最適化 生産計画の 最適化 食品流通 市場規模36.4兆円 食品製造 市場規模38.4兆円 需要の フィードバック 配送 需要の フィードバック 配送 原価・人件費・ 販売の最適化 外食 市場規模21.3兆円 「令和4年農業・食料関連産業の経済計算（概算）」(農林水産省）（https://www.maff.go.jp/j/tokei/kekka_gaiyou/keizai_keisan/r4/index.html) をもとに当社作成
11. プロダクト 外食産業特化、AI搭載のHANZOシリーズを提供 外食産業の利益率向上をサポート 11 AIエンジン RPAエンジン ※特許出願準備中 需要予測AI HANZO 自動発注 HANZO 発注AIアシスト HANZO 人件費 飲食店のスタッフに代わって AIが食材の発注量を算出 AIが未来の売上・客数を予測し 適正な人員をサジェスト 食材の予測消費量や納品リード タイムを表示し発注をアシスト
12. HANZOが貢献できること FLコストを改善し、業務効率性を高めるだけでなく 外食産業全体の低い営業利益を高めること 12 HANZO 自動発注 HANZO 人件費 売上 FLコスト F：食材費 L：人件費 ＋ その他コスト 賃料等 営業利益 営業利益 その他コスト 賃料等 FLコスト コスト改善
13. Goalsが抱える課題 13 食品産業（飲食店舗）で顕著に見られる問題 開発・検証環境と、実際に利用される環境に差異 飲食店舗 アルバイト 通信環境が悪い場合があり サービスの使い勝手に悪影響 飲食店舗 ベテラン 非デジタルネイティブ世代で 端末の扱いに慣れていない
14. 14 01 02 03 はじめに 自己紹介 04 非エンジニアによる活用 Session Replay UX指標の監視 RUM ダッシュボード 自社の課題 会社概要、Goalsが抱える課題
15. 解決したい課題１ 15 食品産業（飲食店舗）で顕著に見られる問題 開発・検証環境と、実際に利用される環境に差異 飲食店舗 アルバイト 通信環境が悪い場合があり サービスの使い勝手に悪影響 飲食店舗 ベテラン 非デジタルネイティブ世代で 端末の扱いに慣れていない
16. ある日のエンジニア 一部のユーザ様からのお声 「遅い画面があって、使い勝手悪い」 16
17. ある日のエンジニア UX指標の一環として、サービスの 画面描画速度を計測・監視しよう！ Datadog RUMを利用すれば、 簡単に監視用ダッシュボードが作成できる！ ▪ Datadog ドキュメント RUM ダッシュボード RUM パフォーマンス概要ダッシュボード 17
18. ある日のエンジニア あれ、指標的にはそこまで悪くないぞ... 18
19. 原因 19 実際に利用される環境に絞っていなかった → 意図していない値が含まれていた 問題１ 問題２ 社員のセッションも 計測対象に含まれていた 実際に計測したいユーザ様のセッションが 埋もれてしまっていた ユーザ様には非公開の 社内専用画面も計測対象に含まれていた 実際に計測したい画面のセッションが 埋もれてしまっていた
20. 解決策 20 自社独自のパラメータを追加 → 計測したいセッションのみに絞り込み ▪ Datadog ドキュメント RUM ブラウザモニタリング > 高度な構成 自社社員のセッションは除外 （検証や動作確認等で、通信環境等が整い過ぎている自社社員のセッションが大量にあった） どのプロダクトのセッションかを分割 （プロダクト単位でのセッション監視のしやすさを向上）
21. 解決策 21 サンプルコード import { datadogRum } from '@datadog/browser-rum'; ・・・ datadogRum.setUser({ id: userId, email: email, ・・・ }); datadogRum.setGlobalContext({ productId: productId, isAdmin: isAdmin, ・・・ });
22. 解決策 22
23. 23 01 02 03 はじめに 自己紹介 04 非エンジニアによる活用 Session Replay UX指標の監視 RUM ダッシュボード 自社の課題 会社概要、Goalsが抱える課題
24. 解決したい課題２ 24 食品産業（飲食店舗）で顕著に見られる問題 開発・検証環境と、実際に利用される環境に差異 飲食店舗 アルバイト 通信環境が悪い場合があり サービスの使い勝手に悪影響 飲食店舗 ベテラン 非デジタルネイティブ世代で 端末の扱いに慣れていない
25. ある日のエンジニア 一部のユーザ様からのお声 「なんかサービスが動かない...」 25
26. ある日のエンジニア 26 サービス全体に関わる 障害でも発生している！？ ユーザ様環境特有で 何か問題が発生している！？ 問題が発生している 環境の情報は！？ 問題の事象の詳細は！？
27. 課題 27 問い合わせ事例（Session Replay活用前） ◯◯様からお問い合わせがありました。 ✕✕日に、画面が動かなくなったとのことです。 ただし、自身の検証用アカウントでの試したところ問題なく利用できます。 何かしらインフラ起因で障害等は発生していましたでしょうか？ 別途、ユーザ様へお聞きするべきことがあれば、ご教示ください。
28. 課題 28 問い合わせ事例（Session Replay活用前） ◯◯様からお問い合わせがありました。 → アクセスしようとしたアカウントは？ ✕✕日に、画面が動かなくなったとのことです。 ただし、自身の検証用アカウントでの試したところ問題なく利用できます。 → 具体的な日時は？ → 今も継続的に事象は発生しているのか？ 何かしらインフラ起因で障害等は発生していましたでしょうか？ → 障害検知はしていないが、問い合わせ事象としてはログインできないのか？ 別途、ユーザ様へお聞きするべきことがあれば、ご教示ください。 → ユーザ様の環境情報...etcは？
29. 課題 29 カスタマーサクセス部署を通して ユーザ様とのやり取りが頻発 カスタマーサクセス エンジニア ユーザ様
30. 解決策 カスタマーサクセス部署にも Datadogアカウントを配布しよう！ RUMのSession Replay見れば、 一部のお問い合わせは調査できるぞ！ 30
31. 解決策 ❎：アカウント単位での課金体系 ✅：使った分の従量課金体系 ▪ Datadog ドキュメント 料金 | Datadog 31
32. 解決策 32 関係者全員にメリット カスタマーサクセス ユーザ様との橋渡しに留まらず 問題調査ができるようになった エンジニア 開発調査に集中でき 開発工数が削減できた ユーザ様 調査担当 = 回答担当となり 回答までの待ち時間が減った
33. 解決策 33 Session Replayの確認のみで解決できた事象 利用環境 使い方 セッション サービスが動かない サポート対象外の環境からの利用や 意図していないURLへの直アクセス 勝手にログアウトした 期限切れのセッション状態の利用 ログインできない 意図していない値の入力
34. 解決策 既存メンバーの全アカウント発行を実施 新規参画者にも発行されるようにフロー化 → Datadogへのログイン方法から解説 サンプルとして、問い合わせ調査に自身が活用している様子を動画化 → 全社員へ動画を共有 Session Replayの使い方、オススメTipsをまとめてドキュメント化 → 使ってみようと思える環境を整備 カスタマーサクセス（非エンジニア）が Session Replayを使いこなすまでに実施したアクション 34
35. 解決策 35 ドキュメント化
36. 解決策 36 問い合わせ事例（Session Replay活用後） ◯◯様からお問い合わせがありました。 ✕✕日✕✕時✕✕分頃に、以下のユーザ様のアカウントでサービスへアクセスしようとしたところ、 画面が真っ白になる事象が発生したとのことです。 id : AAAA email : BBBB ユーザ様のセッションをSession Replayから調査しようとしましたが、 上記に該当するセッションを確認することはできませんでした。 ただし、✕✕日✕✕時✕✕分まで正常に利用されていることをSession Replayから確認済みです。 確認したSession Replayのリンクはこちらです。 ユーザ様のOS・ブラウザ等の情報も合わせてAttributesタブからご確認ください。 Link : https://app.datadoghq.com/xxxx 別途、ユーザ様へお聞きするべきことがあれば、ご教示ください。