Upgrade to Pro — share decks privately, control downloads, hide ads and more …

UWS2020 チュートリアル2「質的調査」

Akira Kanaoka
October 27, 2020

UWS2020 チュートリアル2「質的調査」

UWS2020で開催された企画セッション「チュートリアル2 レベルアップ! ユーザスタディ」で発表した資料です

Akira Kanaoka

October 27, 2020
Tweet

More Decks by Akira Kanaoka

Other Decks in Research

Transcript

  1. 質的調査のアプローチ 主観的観点へのアプローチ 実験参加者の観点を強調する アプローチ データ収集方法 • 半構造化インタビュー • ナラティブインタビュー データ分析方法

    • コード化 • 内容分析(Content Analysis) • ナラティブ分析 社会状況の形成の記述 日常生活における慣行や社会的現実 の作られ方へのアプローチ データ収集方法 • フォーカスグループ • エスノグラフィー • 関与観察 データ分析方法 • 会話分析 • ディスコース分析 よく使われる 最近ちょこちょこ 見る
  2. 質的と量的、どう選択する? 量的調査の選択 ユーザの認識や行動に対して、知りたいことが明確 • Likert尺度で表現できる(表現して大丈夫だろうと言える) • カテゴリ化した質問が提供できる 質的調査の選択 そもそもどういったことがユーザに認識されているかが不明確 ほんとにそうなのか

    (自分で言っておいてなんですが) ???「実験参加者数が量的調査として十分な量は取れなそうだ…。よし質的調査に切り替えよう」 パイロットスタディとして質的調査アプローチをし、 得られた成果をもとに量的調査アプローチ、という手段も
  3. サンプリング 量的調査のサンプリング • 母集団の特徴と分布を代表するサンプリング(無作為抽出) サンプルからの知見を母集団に帰す 質的調査のサンプリング • より意図的で柔軟:多様性の担保などの視点 女性参加者と男性参加者の数を決める 各年齢層で一定の数ずつ参加者を集める

    • 必ずしもランダムではない • 研究している現象のバリエーションとバラエティをできるだけ実証的な 資料の中にとらえることができるように 金岡の体感的には サンプル数(実験参加 者数)は数十という オーダー
  4. 便宜抽出法の例 Naiakshina, Alena, et al. "Why do developers get password

    storage wrong? A qualitative usability study." Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. 2017. Naiakshina, Alena, et al. "Deception task design in developer password studies: Exploring a student sample." Fourteenth Symposium on Usable Privacy and Security ({SOUPS} 2018). 2018. Naiakshina, Alena, et al. "" If you want, I can store the encrypted password" A Password-Storage Field Study with Freelance Developers." Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 2019. Naiakshina, Alena, et al. "On Conducting Security Developer Studies with CS Students: Examining a Password- Storage Study with CS Students, Freelancers, and Company Developers." Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. 2020. ユーザ実験においてパスワードの保管をするアプリを作成してもらう → どのくらいのユーザがパスワードを平文で保存してしまうか調査 • 明確な指示がないと誤った保管方法をする • Base64エンコーディングによる保存、ハッシュ化と暗号化(Encrypted)の混同 • ユーザグループが異なってもおおよそ似た傾向(学生、フリーランス、企業エンジニア)
  5. データ分析手法 コード化(Coding) • 良くわからない…(ごめんなさい) ザックリとした金岡の理解 for USP研究 インタビューの回答などを、文脈から切り離して断片化 断片化したものをグループ化して、名前を付ける 名前を付けたものをさらにグループ化したり、名称を再検討したり

    複数人で突き合わせて再整理・再実施して、一定のところまで来たら確定 カテゴリ(テーマ)をベースにインタビュー内容を整理し、その共通部分や対比部分 を議論することで、実験参加者の認識や背景にある社会構造を説明する
  6. データ分析手法 コード化(Coding) Inductive Coding • コーディングしていく中でカテゴリが醸成されていく • USP研究はだいたいこっち? Deductive Coding

    • カテゴリはあらかじめ確定してあって、コードを割り当てていく Open Coding Axial Coding Categorize Grounded Theory Thematic Analysis:この流れと大まかに似ている??
  7. Coding事例 Florian M. Farke, et al. "“You still use the

    password after all” – Exploring FIDO2 Security Keys in a Small Company." SOUPS2020
  8. Coding→Grounded Theory例 Artemij Voskobojnikov, et al., “Surviving the Cryptojungle: Perception

    and Management of Risk Among North American Cryptocurrency (Non)Users”, FC’20 この研究はきちんと書いているように見えるが、 USP研究ではGrounded Theoryと言いつつ、実際はCodingして類型化とその言及にと どまって、概念(カテゴリ)間の関係性整理と理論化まで行ってない研究が多いイメージ