Upgrade to Pro — share decks privately, control downloads, hide ads and more …

視覚障碍者ための音声認証インタフェースデザイン

 視覚障碍者ための音声認証インタフェースデザイン

SecHack365 '2019
研究駆動コース 中井崚日

SecHack365 '2019作品一覧
https://sechack365.nict.go.jp/achievement/2019/index.html

RyokaNAKAI

March 31, 2020
Tweet

More Decks by RyokaNAKAI

Other Decks in Research

Transcript

  1. 2

  2. 背景 視覚障害者の認証⽅法 ⾳声認証 ユーザが「⾳声を聞く」ボタン をクリック → コンピューターが「1 5 8 9」と数字を読み上げる

    → ユーザが読み上げた⽂字を⼊⼒ → アカウントが取得可能 脆弱性 Stiltwalker という⾳声認識スクリプトで突破可能 5
  3. 背景 視覚障害者向けの認証は未開拓 ⾳声を活⽤した認証に関する研究は乏しい • 認証の脆弱性の研究カテゴリは画像または⽂字を⽤いたものばかり • 既存システムに攻撃をするシステムを作るという内容 [Elie Bursztein 2014]

    [Suphannee Sivakorn 2016] • 数少ない視覚障害者の認証カテゴリの研究は 「視覚的な認証システムをどうサポートさせればよいのか?」 という観点の研究ばかり [J. Holman 2008] [Bryan Dosono 2015] [太⽥ 2016] 7
  4. 実験のまとめ 回答時間の短さ、聞き取り回数の少なさ 単⼀ > 残響 > 複合 正答率 単⼀ =

    残響 (約65〜70%) 既知単語の場合、全体のユーザビリティ向上 単⼀は正答率90%達成
  5. テスト項⽬ 提⽰⾳声の再⽣速度を2.0倍に変更 ⼊⼒ タッチ 仮定 ユーザがiPhoneを利⽤可能 ステップ 1.バーの位置を探り出す 2.バーが速度変更のためのものであることを認識 3.速度の変更⽅法を理解

    4.現状の速度を理解 5.速度をアップ 6.現状の速度を確認 成功基準 30秒以内に速度を変更する 備考 ユーザはアイマスクを着⽤ 評価実験 ユーザビリティテストの例 ユーザビリティテストとは? ユーザによるタスク処理を通じ て使いやすさを評価するテスト [Jakob Nielsen 1993]
  6. 感性評価 イメージプロフィール 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり

    調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
  7. 感性評価 ラベル 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり

    調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
  8. 感性評価 ラベル 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり

    調和的 複雑 特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定
  9. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 ボタン
  10. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 セクションコントロール
  11. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 テキストフィールド
  12. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 スライダー
  13. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 スイッチ
  14. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 アクティビティ
  15. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 プログレス
  16. 理解 快適 充実 魅⼒ 印象的 親近 硬い あっさり 調和的 複雑

    特徴的 正確 ⾃然 軽快 安全 動的 素早い 安定 不理解 不快 空虚 ⾮魅⼒ ⾮印象的 ⾮親近 柔らかい くどい ⾮調和的 単純 ⾮特徴的 不正確 ⼈⼯ 重苦しい 危険 静的 素早い 不安定 感性評価 ピッカー
  17. 85

  18. 背景 reCAPTCHAとは 認証システム • Completely Automated Public Turing test to

    tell Computers and Humans Apart • コンピューターと⼈間を区別するための 完全に⾃動化された公開チューリングテスト 88
  19. 背景 reCAPTCHA V2 画像選択 脆弱性 • 70%以上低コストで突破できる • 1枚の画像の解読時間は平均19秒 •

    解像度が⾼い画像ほど突破が楽 参考 • I Am Robot:(Deep) Learning to Break Semantic Image CAPTCHAs • I’m not a human: Breaking the Google reCAPTCHA 96
  20. 背景 reCAPTCHA V3 特徴 • ユーザ⾏動をトラッキングして⾃動認証 • マウスやスクロールの動きなど • ⾏動が怪しまれた場合のみ⼿動認証

    • 取得したユーザの⾏動を蓄積しビッグデータに • ビッグデータから怪しさを判定 • 判定精度が⾃動的に進化 98
  21. 仮説 想定ボトルネック 着眼点 参考:[太⽥ 2016] • 認証速度 • 回答の正当性評価 •

    ⼈間にも聞き取れない⾳声の認証 • 認証成否の確認 • 認証失敗時のフォロー⽅法 • 環境ノイズの影響 103
  22. 提案 想定ボトルネックと解決策 着眼点 参考:[太⽥ 2016] • 認証速度 • 回答の正当性評価 •

    ⼈間にも聞き取れない⾳声の認証 • 認証成否の確認 • 認証失敗時のフォロー⽅法 • 環境ノイズの影響 解決策 再⽣速度を可変 統計的処理 提⽰⾳声リジェクトと別⾳声提⽰ ⾳声シグナルによるフィードバック リジェクト数が少ない⾳声提⽰ ノイズを含む⾳声を提⽰し検証 → → → → → → 104
  23. 調査実験 ガイドライン作成に向けて 調査項⽬ • 既存システムの問題点抽出(操作時間やミス回数、ユーザ不満) • 提案システムおよび⾳声による認証システムの脆弱性や懸念点 • 年齢、性別、障害の程度(全盲、弱視、晴眼)による差 •

    操作時間(提⽰⾳声を聞く速度、⽂字起こし速度) • 提⽰⾳声の再⽣回数(聞き返し回数) • ⾁声の聞き取りやすさ(発話速度、声量、⽅⾔、英語、⿐声) • ⾳声シグナルの意図理解 • 場所による認証精度の違い(環境ノイズの影響) 105
  24. 提案 プロトタイプ 機能(優先度順) 1. ⾳声のランダム提⽰ 2. 正当性の⾃動評価 3. ユーザ側が提⽰⾳声を選べるように 4.

    聞き取りにくい⾳声の⾃動抽出 5. 国や地⽅ごとの⾳声を利⽤ • GPSを利⽤してユーザの所属地域(国や地⽅)を割り出す • その地域の⾔語や⽅⾔の⾳声を提⽰ 109
  25. 関連⽂献 1 I’m not a human:Breaking the Google reCAPTCHA 論⽂

    2 reCAPTCHA: Human-based character recognition via web security measures 論⽂ 3 Google Online Security Blog, “Are you a robot? Introducing “No CAPTCHA reCAPTCHA 公式ドキュメント 4 The end is nigh: Generic solving of text-based CAPTCHAs.” in USENIX WOOT 論⽂ 5 Multi-digit number recognition from street view imagery using deep convolutional neural networks 論⽂ 6 The No CAPTCHA problem ブログ 7 Show and tell:A neural image caption generator 論⽂ 8 Deep visual-semantic alignments for generating image descriptions 論⽂ 9 NMF-KNN:Image Annotation Using Weighted Multi-view Non-negative Matrix Factorization 論⽂ 10 Massive-scale online collaboration 動画 11 【2Captcha】Python+Seleniumで『reCAPTCHA』を突破する⽅法 ブログ 12 reCaptcha、85%の精度で⾃動解析・突破できますってよ ブログ 13 機械学習を使ってCAPTCHAをわずか15分で突破するチャレンジが⾏われる ブログ 14 Googleの⾳声認識を利⽤してreCAPTCHAを突破できると研究者が発表 ブログ 15 画像認証のreCAPTCHAがv3にバージョンアップ ブログ 16 あの「イラつく⽂字認証」のおかげで年間250万冊もの本がデジタル化されている - ログミーBiz ブログ 17 語学の学習をしながら、実はネットを翻訳「Duolingo」 ブログ 113
  26. 関連研究 (太⽥ 2016) 認証フォームや⽬的の場所の選択の困難性 • 認証フォームが発⾒不可、発⾒に時間がかかる問題 • スクリーンリーダーが「ログイ ン」の⽂字を読まなかった •

    メニュー を開くタブを探すことに苦戦していた • タブが「リンク」 としか読まれないので,上からひとつひとつ開く必要 • ラジオボタンの選択に時間がかかる • ラジオボタンはスクリーンリーダーで読めない • 広告が多すぎて選択のノイズになっている 115
  27. 関連研究 (太⽥ 2016) 認証成功確信の困難性 • 健常者はログインが成功すると画⾯の切り替わる • しかし、切り替わった 画⾯を把握するのに時間がかかる •

    ログインの確信条件 • 「ユーザ名」が聞こえたとき • 「ログアウト」という⾳声 が聞こえたとき 認証成否をいかに障害者に伝えるかが設計において重要 116
  28. 関連研究 (太⽥ 2016) 認証情報⼊⼒の困難性 • パスワード⼊⼒ • 失敗例 • 誤⼊⼒による失敗

    • ⼊⼒中に別のメニューを開いて失敗 • 実装 • (1) ⼊⼒内容を⾳声で読み上げる実装 • (2) マスクした⽂字 (アスタリスクなど) を読み上げる実装 • (3) ⼊⼒内容は⼀切読みあげない実装 セ キュリティとアクセシビリティはトレードオフ 119
  29. 関連研究 (Shiri 2012) 認証の秘匿性と意識の問題 • 潜在的なセキュリティの脅威に気付いていないか、⼼配していない • パスワードで保護された画⾯ロックなどのオプションの認証⽅法を使 ⽤した参加者は⼀⼈もいませんでした •

    スクリーンリーダでパスコードを読み上げてしまうと秘匿性が損なわ れ危険 • 認証のたびにヘッドホンで⽿を塞ぐことを視覚障害者は避けたがって いる 120
  30. NMF-KNN:Image Annotation Using Weighted Multi-view Non-negative Matrix Factorization 画像に⾃動でタグをつけるための機械学習モデルの研究 •

    多視点⾮負⾏列因数分解(NMF)の重み付き拡張 • 異なる特徴にわたって係数⾏列にコンセンサス制約を課すNMF-KNNアプローチ 従来のモデル:新しい画像がDBに追加された場合再学習が必要に 本論⽂ :この問題を解決 122