【RESEARCH Conference 2022】東京都のユーザーテスト浸透に向けて～テストしないものはリリースしない～を合言葉に（東京都デジタル改革担当部長巻嶋國雄市）

東京都のユーザーテスト浸透に向けて～テストしないもの
はリリースしない～を合言葉に第一回リサーチカンファレンス東京都デジタルサービス局デジタル改革担当部長巻嶋國雄 2022年５月28日

Agenda 1. ユーザーテストガイドラインの策定 2. ユーザーテストガイドラインの概要 3. ユーザーテストの取組事例 4. ユーザーテストの浸透に向けた取組 5.
今後の展開

• ユーザーテストガイドラインの策定都庁内でユーザーテストの実態把握調査を実施一般職員にとって分かりやすいユーザーテストの指針が必要  ユーザーの声を聞くって、具体的にはどうやるのか？  ユーザーは都民だけど、誰に聞けばいいのか？  何人に聞けばいいのか？
 ユーザーテストって、そもそも何なのか？ etc. 調査での主な疑問・質問 2021年6月4日～6月25日期間ユーザーテストの実施が見込まれる事業 ※ホームページ改修やシステム構築等が必要な事業のうち、ユーザー意見を取り入れることで改善したいと考える事業調査内容 4

5 専門的基本的選択肢 A 選択肢 C 選択肢 B •
ユーザーテストガイドラインの策定ユーザーテストガイドラインの位置付けコンセプト  専門知識のない職員でも分かるように、基本的かつシンプル  文章は少な目、ビジュアルでイメージを掴む  まずはやってみることが大事なので、無理なく実践できる内容にするコスト高コスト低選択肢 D

• ユーザーテストガイドラインの策定 6月 7月上・中旬 7月中・下旬 8月12日庁外へも公表してほしいとの要望があり、微修正を加えて、 9月1日に「ユーザーテストガイドラインv.1.1」を公開担当案作成現状把握調査
幹部レクなど都庁内でのユーザーテストの実施予定を調査調査結果、各種資料を基に担当案を作成デジタルサービスフェローなど専門家のレビューも実施庁内向け資料として「ユーザーテストガイドラインv.1.0」を策定策定 2021年 6

今後の展開

8 • ユーザーテストガイドラインの概要サービスを「作る」立場ではなく「使う」視点で作ることで質の高いサービスを提供するために、ユーザーテストの基本的な内容を示したガイドライン QOS ユーザーテストガイドラインv.1.1 https://www.seisakukikaku.metro.tokyo.lg.jp/basic-plan/shintosei_speed- up/html5.html#page=20

9 • ユーザーテストガイドラインの概要ガイドラインにおけるユーザーテストの概要定義目的テストの対象テスターテストの方法システム開発やデジタルサービスの提供に当たり、サービスの対象ユーザーの感想や
心理など、提供者側が想定しえなかった課題を明確化するテストシステムやサービスのリリースの前／後でユーザーの意見を取り入れることで、ユーザー目線に立ったより使いやすいシステム・サービスを実現する職員や都民等向けのホームページ、情報システム、アプリ等のデジタルサービス全般職場の同僚、知人、家族など、事業者やサービス提供者と直接関係のない人オフライン型：会議室やイベントスペース等にテスターを集めて実施オンライン型：PCやスマホなどを使用して、リモートで実施

10 • ユーザーテストガイドラインの概要ユーザーテストガイドラインが対象とする評価の主体と目的評価の目的評価の主体
現状把握・比較改善一般ユーザーユーザーレビューユーザビリティテスト専門家ヒューリスティック評価認知的ウォークスルーガイドラインの対象

11 • ユーザーテストガイドラインの概要出所：アイティメディア株式会社 https://www.itmedia.co.jp/news/articles/2109/02/news137.html 出所：ニュートン・コンサルティング株式会社 https://www.newton-consulting.co.jp/itilnavi/flash/id=5564 出所：日本経済新聞 https://www.nikkei.com/article/DGXZQOC C027VP0S1A900C2000000/
公開後の反響

今後の展開

13 • ユーザーテストの取組事例① チャットボット総合案内 • これまで東京都の各局から個別に提供されていたチャットボットや、それらが保有する回答を一元的に案内するサービス複数回におよぶユーザーテストを実施 (1)職員によるテスト【手法】アンケート
【対象】職員約30名 2021年 5月 (2)都民に対するオンライン調査 (3)職員に対するモニタリングテスト 10～11 月 (4)職員による最終テスト【手法】アンケート【対象】職員 12月総合案内リリース 2022年 1月都民に対するオンライン調査  目的：操作性確認＋デザインの選定  対象：都民約500名  手法：アンケートで、以下の一連の流れを質問  ＜操作性＞モック画面で操作性を実際に確認  ＜デザイン選定＞画像から最も良いと思うデザインを選択職員に対するモニタリングテスト  目的：操作性確認  対象：職員5名  手法：  Teams会議上で一人ずつモックを操作してもらう  操作中の迷い等を観察し、終了後のインタビューで意見を収集

14 • ユーザーテストの取組事例① チャットボット総合案内のユーザーテスト結果＜１＞＜３＞＜２＞＜４＞起動バナーボタンデザイン
 5人全員がよく見られるもの「あり」がいいという意見で、 5人中3人は実際に使用していた。  5人中4人が、カテゴリ選択式よりボタン一覧表示方式が良いという意見だった。  その他、選択不可の箇所をクリックしてしまうなど、操作中の迷いが観察されたため、改善に活かしていく。  よく見られるものは「あり」が良いという人の方が多かった。（71％）  カテゴリ選択式よりボタン一覧表示方式が良いという人の方が多かった。（52%）  起動バナーは3番を選択する人が最多だった。（32%）  ボタンデザインは3番を選択する人が最多だった。（45％）モニタリングテスト結果オンライン調査結果

15 • ユーザーテストの取組事例② My TOKYO 構築の流れ • 都民ニーズ調査やユーザーテストを経て、My TOKYO（シンプル版）を構築 •
シンプル版の試行により、ユーザーニーズや運用の負荷の確認、機能改修案の意見募集等をし、アップデート版の開発に活かしていく都民ニーズ調査、都民アンケート調査既存サイトユーザーテスト、庁内向け調査ワークショップ、正式版カスタマージャーニーの作成、プロトタイピング 2021年７月～シンプル版仕様決定・構築、ユーザーテスト、デザイン改善、機能調整８月～シンプル版の庁内レビュー、デザイン改善、機能調整、正式版仕様決定 2022年１～３月アップデート版デジタルポータルサイト My TOKYOリリース 2023年 4月8日＜記事への評価機能を搭載＞＜カテゴリ選択画面と記事詳細画面＞デジタルポータルサイトについて noteでも取組を紹介中シンプル版リリース、都民意見の収集、運用テスト、追加開発、正式版開発４月～デジタルポータルサイト

16 • ユーザーテストの取組事例② デジタルポータルサイト：プロトタイプ検証によるデザイン変更ユーザーテストしたプロトタイプユーザーテストを踏まえて改善したシンプル版のデザインおすすめに選択していないカテゴリの記事が出る違和感文字が多すぎる
新着がどれか分からない追従ナビゲーションに気付きにくい検索の位置が分かりにくい追従フッターはヘッダーやメニューに格納選択していないカテゴリも見たい各カテゴリタブ内は新着順におすすめには選択したカテゴリの記事のみを表示リード文は削除し、見出しのみを表示ファーストビューで見える記事の数を多く

今後の展開

18 • ユーザーテストの浸透に向けた取組テスト手順書・管理ツールの作成システムなどの改修費用の予算措置職員向けテスト動画の作成 
ユーザーテストガイドラインのコンセプトを具体的なプロセスに落とし込んだ手順書と管理ツールを作成  手順書等はテスト実施の際に活用し、内容を検証して改善していく  ユーザーテストにより明らかとなった課題へ対応するための予算を措置  必要に応じてシステムやHPの改修費用に充てる  ユーザーテストの基本的な内容をまとめた動画を作成  動画をアーカイブ化し、職員がいつでも、必要な時に見られるようにしている庁内サポート体制を強化

今後の展開

20 • 今後の展開ユーザーテストのテスターを都民に拡大することで、より都民目線に立ったデジタルサービスを構築都職員都職員都民 2021年度 2022年度～
テスターを都民へ拡大

21 • 今後の展開  ユーザーテストを都庁に根付かせるための基本的な方針  テスターは職員を基本とし、簡易な手法を紹介するなど取り組み易さを重視
 2021年度のユーザーテストの実施状況を踏まえ、テスト種別の類型化や実施の際のポイントなどを盛り込む予定  テスターは職員に加え、都民へ拡大していくユーザーテストガイドラインv.1.1 ユーザーテストガイドラインv.〇.〇 2021年度 2022年度～ユーザーテストガイドラインの改訂

～テストしないものはリリースしない～

【RESEARCH Conference 2022】東京都のユーザーテスト浸透に向けて～テス...

【RESEARCH Conference 2022】東京都のユーザーテスト浸透に向けて～テストしないものはリリースしない～を合言葉に（東京都デジタル改革担当部長巻嶋國雄市）