信頼できる情報獲得に対する心がけと普段のWeb検索行動の関係分析

Transcript

1. 信頼できる情報獲得に対する ⼼がけと普段のWeb検索⾏動の 関係分析 兵庫県⽴⼤学 社会情報科学部 ⼭本 岳洋 1
2. ຊ೔ͷߨԋͷ಺༰ 2 Takehiro Yamamoto, Yusuke Yamamoto, Sumio Fujita: Exploring People’s Attitudes and Behaviors Toward Careful Information Seeking in Web Search, Proceedings of the 27th ACM International Conference on Information and Knowledge Management (CIKM 2018), pp.963-972, October 2018. 静岡⼤学 ⼭本 祐輔 先⽣， Yahoo! JAPAN研究所 藤⽥ 澄男 様 との共著論⽂[CIKM2018]の紹介
3. എܠ
   ΢Σϒ৘ใ͸ৗʹਖ਼͍͠Θ͚Ͱ͸ͳ͍ l 健康情報に関する “yes-no”型の検索クエリの 半数以上は 1位の検索結果が誤った情報 を 含んでいた [White2013] 3 R. W. White. 2013. Beliefs and biases in web search. In SIGIR. 3–12.
4. ৴པͰ͖Δ΢Σϒ৘ใΛ֫ಘ͢ΔͨΊʹ 4 情報システム による 信頼性評価 ユーザ⾃⾝ による 情報精査
5. ৴པͰ͖Δ৘ใ֫ಘͷͨΊʹඞཁͳߦಈ 5 慎重な 検索ユーザ 検索結果の上位だけ なく下位も確認する できるだけ検索に 時間をかけて調べる 検索ツールを使って 最新情報を⾒る ページの著者を 確認する ページの情報が 最新か確認する 著者の意図を 意識する 普段このような⾏動をどの程度⼼がけているか︖ [Metzger+2003,2015][山本ら2019]
6. ͜Ε·Ͱͷݚڀ
   Ξϯέʔτௐ͕ࠪओ l アンケートに基づいた意識調査 – [Metzger+2003,2015] – ウェブアクセスリテラシー尺度 [⼭本ら2019] l 本研究の動機 – アンケート調査だけでは 実際のウェブ検索⾏動 は⼗分には分からない 6 M. J Metzger et al. Believing the unbelievable: understanding young people’s information literacy beliefs and practices in the United States. Journal of Children and Media 9, 3 (2015), 325–348. M. J Metzger et al. College student Web use, perceptions of information credibility, and verification behavior. Computers & Education 41, 3 (2003), 271–290. 山本祐輔ら,ウェブアクセスリテラシー尺度の開発, 情報処理学会論文誌: データベース (TOD80), 12(1), 24-37, 2019.
7. 7 ৴པͰ͖Δ৘ใΛ֫ಘ͠Α͏ͱ͢Δ ৺͕͚ͱ ීஈͷ ΢Σϒݕࡧߦಈ ʹؔ܎͸͋Δ͔ʁ
8. ݕূଶ౓ 8 検証態度の高い 検索ユーザ 検索結果の上位だけ なく下位も確認する できるだけ検索に 時間をかけて調べる 検索ツールを使って 最新情報を⾒る ページの著者を 確認する ページの情報が 最新か確認する 著者の意図を 意識する このような⾏動を普段どの程度⼼がけているか = 検証態度 と定義
9. ຊݚڀͰऔΓ૊ΜͩϦαʔνΫΤεγϣϯ 9 9 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖ ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖ クエリ 時間 クリック ︖ 検索専⾨性
10. ෼ੳͷΞϓϩʔν 10 アンケート調査 と クエリログ分析 の併⽤ Yahoo検索ユーザ Yahoo! ウェブ検索 クエリログ 1,491⼈ Yahoo! クラウドソーシング
11. 11 アンケート調査
12. ϦαʔνΫΤεγϣϯ 12 12 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖ ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖ クエリ 時間 クリック ︖ 検索専⾨性
13. Ξϯέʔτௐࠪ l サービス – Yahoo! クラウドソーシング l ⼈数 – 1,491 名 – アンケート調査に参加する前に，調査の結果が 学術研究⽬的に利⽤されること，また，Yahoo! ウェブ検索の検索ログデータと結びつけて分析さ れることを説明する画⾯を明⽰的に提⽰し，同意 したユーザのみ実際のアンケート調査に参加 l 実施時期 – 2017年11⽉ 13
14. ௐࠪͨ͠ཁҼ l 検証態度 l 検証態度に影響を与えると思われる要因 （主な要因は[Mezgter2015]を参考に選定） – ウェブ情報の信じやすさ – 個⼈の思考特性 – 学歴 – 検索専⾨性 14
15. ݕূଶ౓ͷଌఆ 15 ウェブページの書き⼿が誰なのかを確認する 検索結果の上位のウェブページだけでなく、 下位のウェブページも閲覧するようにしている したことがない ほとんど 常にする 1: 5: ✓ 1: 5: ✓ 15 できる限り時間をかけて調べたうえで 検索をやめるようにしている 1: 5: ✓ 検証態度 ウェブページで記述されている情報が 最新か確認する 項⽬ 1: 5: ✓ 既存研究 [Metzger+2003, Metzger+2015, ⼭本ら2019] に基づき， ウェブ検索やページ閲覧時に取るべき⾏動 15 項⽬ を⽤意 スコアの平均
16. ΢Σϒ৘ใͷ৴͡΍͢͞ 16 信じない 可能性が高い 信じる 可能性が高い 1: 5: ✓ あなたがウェブ上で出会った「ニュース情報」を 正しいと信じる可能性はどの程度ですか 1: 5: ✓ 検索エンジンがランキングしたウェブページから 得られる情報を正しいと信じる可能性はどの程度ですか 13 項⽬ ウェブページや検索結果ページから得られる情報を どの程度信じられると感じているかを測定 ウェブ情報の信じやすさ スコアの平均 [Metzger+2003, Metzger+2015]
17. ݸਓͷࢥߟಛੑ ͭ঺հʣ 18 そう思わない そう思う 1: 5: ✓ 深く考えなければならないような状況は 避けようとする (reverse coded) 1: 5: ✓ 簡単な問題よりも複雑な問題の方が好きだ スコアの平均 NFC Need for Cognition (NFC) 深い認知的活動をどれだけ好むかに関する個⼈の嗜好 [神⼭ら1991]の⽇本語訳を参考 5 項⽬
18. ֶྺɾݕࡧઐ໳ੑ l 学歴 – 学部卒相当以上 – それ以外 l 検索専⾨性 – NOTや “ ”（⼆重引⽤符）を使って 検索したことがあると回答 – それ以外 19
19. ϦαʔνΫΤεγϣϯ 20 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖ ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 検索専⾨性 検証態度と これらの要因との 関係を分析
20. ݕূଶ౓ ͱ /'$
    ʹ ਖ਼ͷ૬ؔ 21 ピアソンの積率相関係数 検証態度 ウェブ情報の 信じやすさ Need For Cognition 検証態度 --- -.08 +.28 ウェブ情報の 信じやすさ --- -.07 Need For Cognition --- ① 検証態度 と Need for Cognition に 正の相関（+0.28） ② 検証態度 と ウェブ情報の信じやすさ の負の相関は 極めて弱い（-0.08) ウェブ情報を信頼しないことと， 気をつけて情報を調べようとすることは関連が弱い︖ ② ①
21. ֶྺͱݕࡧઐ໳ੑ͸ ݕূଶ౓ͱؔ܎͕͋Δ 22 検証態度 ウェブ情報の 信じやすさ Need For Cognition 学歴 学部卒以上 (n = 909) 2.98 3.40 3.46 それ以外 (n = 549) 2.88 3.49 3.37 検索専⾨性 専⾨性あり (n = 457) 3.20 3.37 3.55 専⾨性なし (n = 1,034) 2.80 3.45 3.37 ① ② ① 学部卒以上の学歴を持つ⼈の⽅が検証態度は⾼い ② 検索の専⾨的知識を持つ⼈の⽅が検証態度は⾼い
22. 32ͷ·ͱΊ 23 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖ ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 検索専⾨性 検証態度と関連する要因: – Need for Cognition – 学歴 – 検索専門性
23. 24 クエリログ分析
24. ϦαʔνΫΤεγϣϯ 25 25 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖ ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖ クエリ 時間 クリック ︖ 検索専⾨性
25. ΫΤϦϩά෼ੳ l ユーザ数: 1,491名 = アンケートに参加したユーザ l サービス: ヤフーWeb検索 l 期間: 2016年10⽉〜2017年10⽉ (13ヶ⽉間） 26
26. ෼ੳͷ४උɿݕূଶ౓ʹΑΔάϧʔϓ෼͚ 27 n=1,491 上位10% High 11% - 50% 51% - 100% Medium Low アンケート調査 から得られた 検証態度 スコア n =137 n =561 n =739
27. ෼ੳͷ४උɿछྨͷσʔληοτΛ༻ҙ 28 1. 全てのセッションを分析対象 – 問題点: 「facebook」や「WebDB2019」のような 調べ物ではない検索（c.f., 誘導型の検索意図[Broder2002]）も 多く分析対象になってしまう 2. ⻑めのセッションだけを分析対象 – 1セッションあたり3つ以上の 検索クエリを投⼊しているセッション – 調べ物をしているセッションが多く残ることを期待 l 結果としてはどちらのデータも同じ傾向を⽰した – 今回は全てのセッションを分析対象としたときの結果を掲載
28. Ծઆ 29 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ 検証態度の⾼いユーザほど，1回のセッションあたりに 29 クエリ 時間 クリック 多くのクエリ を投⼊ ⻑い時間を かける 多くのページを， 下位まで閲覧
29. جຊతͳηογϣϯ౷ܭྔ 30 検証態度 High Medium Low 1セッション当たりの クエリ数 2.05 2.10 2.02 1セッションにかける 時間 1,668 1,884 2,030 1セッションあたりの クリック数 3.23 3.17 3.14 投⼊する クエリの数 や 検索にかける時間， 閲覧するページ数 などに，検証態度の違いによる 有意な差は⾒られなかった
30. ΫϦοΫ͢Δݕࡧ݁ՌͷॱҐ 31 何位の検索結果をクリックすることが多いか？ 順位
31. ΫϦοΫ͢Δݕࡧ݁ՌͷॱҐ 32 順位 検証態度の⾼いユーザは 1位の⽂書をクリックする 割合が少ない 検証態度の ⾼い⼈ そうでない⼈
32. ΢Σϒ৘ใͷ৴͡΍͢͞ͰݟΔͱ 33 ウェブ情報を 信じやすい⼈ そうでない⼈
33. ߟ͑ΒΕΔղऍ 34 検証態度 ウェブ情報の信じやすさ ポジションバイアス [Yue+2010] • ランキング上位の検索結果ほど， 本来の適合性以上にクリックされやすいことが知られている 検証態度の⾼いユーザはポジションバイアスの影響が⼩さい︖ Yue+. 2010. Beyond position bias: Examining result attractiveness as a source of presentation bias in clickthrough data. In WWW. 1011–1018.
34. ͪͳΈʹֶྺͰΈΔͱ 35 学部卒相当以上 それ以外 学歴と検証態度は，アンケート調査の結果では 関連があったものの，検索⾏動は 逆の傾向 を⽰している
35. ௐ΂Δ಺༰ʹҧ͍͸ͰΔ͔ʁ 36 本当 xxx yyy * 1 証拠 ある物事が本当かどうかを検証するための検索を どの程度するか︖ 仮定: 「証拠」や「本当」といった， 特定の語をクエリに含めて検索する xxx yyy *1 Y. Yamamoto and T. Yamamoto, Query priming for promoting critical thinking in web search, CHIIR2018 証拠，調査，検証，比較，嘘，本当，なぜ･･･ 既存研究 [Yamamoto+2018] を元に22語の検証語を⽤意
36. ݕূଶ౓ͷߴ͍Ϣʔβ΄Ͳ ݕূޠΛΫΤϦதʹ༻͍Δׂ߹͕ଟ͍ 37 1,491ユーザの 平均 検証態度 検証語を含んだクエリで 検索する割合（相対） 検証態度の⾼いユーザほど， 物事を検証するための検索をする機会が多い
37. ֶྺͰ΋ݟͯΈΔͱ 38 検証態度 学歴 検証態度の学歴で異なるパターンを⽰す
38. 32ͷ·ͱΊ 39 39 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖ クエリ 時間 クリック ︖ 検証態度の⾼いユーザは 1位の検索結果を クリックする割合が少ない 検証態度の⾼いユーザは 物事を検証するような 検索をする割合が多い
39. ߟ࡯
    ݕূଶ౓ͷֶྺͱͷؔ܎ l アンケート調査 – 学歴のあるユーザは⾼い検証態度を持つ傾向 l ログ分析 – 学歴と検証態度では異なる傾向を⽰した l 学歴の⾼いユーザは⾼い批判的思考能⼒を 持つが，ウェブ検索に関する知識やスキル を持つかは別である可能性 – アンケート調査[⼭本ら2019] でも同様の傾向 – 例: ポジションバイアス，検索スキル 40
40. ·ͱΊ l 検証態度の⾼い⼈は， ウェブ⾏動⾏動にも特徴が出ている – 1位以外も⾒る，物事を検証するような検索をする l ⾼い検証態度を持っていない⼈が そうした態度を持ち，慎重な検索をするように させることには価値があるはず 41 ৴པͰ͖Δ৘ใΛ֫ಘ͠Α͏ͱ͢Δ ৺͕͚ͱ ීஈͷ ΢Σϒݕࡧߦಈ ʹؔ܎͸͋Δ͔ʁ