Qualtricsで相互作用実験する「SMARTRIQS」実践編

2024年6月に大阪大学の社会心理学セミナーで発表した資料を一部修正・改変したものです。

セミナーなど人前で喋ることを前提に作成している資料なので、わかりにくい部分があるかもしれません。

わからないことがあれば、SNSやメール等で問い合わせてください。セミナーや研究会等でも喋ります。

目次
1. 実験実施する上での注意点（リクルーティング / 質問紙の追加位置）
2. タイムアウトとBotや脱落について
3. チャットテンプレート
4. 自分でサーバーを立てる
5. JavaScriptを使ったカスタマイズ（先制攻撃ゲームを例に）
6. （割愛）結果の表示の仕方（補足）

Transcript

1. SMARTRIQS 実践編 柏原 宗一郎 関西学院大学 社会学研究科/ 日本学術振興会 (DC2) 1
2. 目次 I. 入門編：SMARTRIQSの説明と実施まで 1. SMARTRIQSとは 2. 環境構築から実験実施まで 3. 演習1：実際に実験を動かしてみる（最後通牒ゲームを例に） 4. 演習２：日本語化 5. モニタリング II. 基礎編：仕組みの理解と実験の作り方 1. 仕組みを理解する 2. 実験の作り方 3. 演習3：人数と利得構造を変える（公共財ゲームを例に） 4. 演習4：繰り返しにする（公共財ゲームを例に） 5. 演習5：独裁者ゲームを最後通牒ゲームにする III. 実践編/応用編 1. 実験実施する上での注意点（リクルーティング / 質問紙の追加位置） 2. タイムアウトとBotや脱落について 3. チャットテンプレート 4. 自分でサーバーを立てる 5. JavaScriptを使ったカスタマイズ（先制攻撃ゲームを例に） 6. 結果の表示の仕方（補足） 2
3. 3.1 実験実施する上での注意点 - リクルーティング - 実践編
4. 参加者募集をどこでするか？ •複数の参加者を一度に募集する • oTreeなどでも同じ問題に直面する •推奨する（される）リクルーティング方法 • 実験室 • Zoom • Yahoo!クラウドソーシング • MTurk • Prolific 4 大学生対象 一般人対象
5. リクルーティングによる違い •１回あたり少数しか集めない場合 • 実験室実験・Zoom実験 • 参加者の確認・コントロールはしやすい •1度にたくさん集める場合 • YahooクラウドソーシングやMturkなど • 参加者のコントロールは困難 5
6. クラウドソージングで推奨されること 1. 同時に参加者を募集 2. ピーク時間帯のみ参加者を募集 • 例：平日の12～21時 3. リアルタイムの相互作用が含まれることを明確に • なるべく中断せずに回答してもらいたい 4. 通常の研究よりも少し多めに参加者に支払う • 報酬を高くすると離脱率が下がる https://smartriqs.com/best-practices/ 6
7. Mturkなどでの募集のコツ •小さな募集人数の単位で公開する • 数百人一度に募集せず、10～15分ごとに小さな単位で • 例えば30～40人のワーカーで募集 •承認率でフィルター • 99%や100%の承認率でフィルターする https://smartriqs.com/best-practices/ 7
8. 3.1 実験実施する上での注意点 - 質問紙の追加位置- 実践編
9. 質問紙との組み合わせ •質問紙を追加する • 心理変数と実験行動の関連を見たい！ • MATCHやCOMPLETEの前後に追加するだけ •「どっちに追加するべき？」 • 参加者の回答進捗が異なる • リクルーティングの場所によっても変わる • 適切に対処しないとマッチングの問題が生じる 9
10. 質問紙の追加場所 ① 実験開始前 • 質問紙 → 実験(MATCH) ② 実験終了後 • 実験(COMPLETE) → 質問紙 10 説明（Intro） SEND BLOCK GET BLOCK 回答表⽰ MATCH BLOCK 回答 COMPLETE BLOCK ここ① ここ②
11. 質問紙の配置位置 ① 質問紙 → 実験(MATCH) • 質問紙の数によっては、回答時間に差が生じる • 心理尺度は３つ程度が限界 • Yahooクラウドだと、一度に大量の人が来るので、回答の早い人遅い 人で適度にバラける（らしい） • 重要じゃない変数は後回しにする etc ② 実験(COMPLETE) → 質問紙 • 集まってすぐ実験なので、マッチングの問題は生じにくい • （因果やオーバーラップ効果を考えると先に質問紙をしたい） 11 実は公式はこちらを推奨
12. 3.2 タイムアウトとボット
13. 参加者の脱落への対処 •実験中参加者が回答を中断 / 参加者が集まらない • 何らかの事情で、実験が止まることがある • 参加者が中断する or 実験プログラムのミス etc •ボット処理が必要 • 不足した参加者を、ボットで補う 13
14. 想定される状況1：マッチングしない •MATCH BLOCKに揃わない • 例：3人のゲームなのに、2人しかいない 14 説明（Intro） MATCH BLOCK 回答 ①BOTを追加する BOT ②実験を開始しない
15. 想定される状況2：脱落する •GET BLOCKで全員の回答が揃わない • 例：１人がYouTubeを見始めた 15 BOT BOTを追加する
16. （MATCH BLOCKで）参加者が集まらないとき ① ボットとデフォルトの応答 1. マッチングしない（想定状況1）：BOT追加 2. 脱落する（想定状況2）： BOT追加 • 参加者が最大待機時間を超えると、ボットが回答者を補う ② デフォルトの回答のみ 1. マッチングしない（想定状況1）：実験開始しない 2. 脱落する（想定状況2）： BOT追加 • 実験開始するには、まず人数が揃う必要がある • 実験途中で、誰かが非アクティブになった場合や脱落した場合のみ 16
17. ボットの設定の仕方（埋め込みデータで） ① ボットとデフォルトの応答 • botMatch = yes • defaultData • maxWaitTime = デフォルトは3分（180秒） ② デフォルトの回答のみ • botMatch = （空白） • defaultData • maxWaitTime = デフォルトは3分（180秒） 17
18. Qualtrics上での画面 •埋め込みデータのはじめの方に設定する 18
19. MATCH BLOCKで集まらない場合① ① ボットとデフォルトの応答なら：botMatch = yes • グループに2人（A, B）しか来なかった場合 • maxWaitTime 経過すると、A, Bさんには、BOTとマッチし たことが通知される 19 Cさん Aさん Bさん
20. MATCH BLOCKで集まらない場合② ② デフォルトの応答のみ：botMatch = （空白） • グループに2人（A, B）しかこなかった場合 • maxWaitTime 経過しても実験開始しない 20 Cさん Aさん Bさん
21. GET BLOCKで脱落する場合① •Aさん, Bさんが回答し、Cさんが画面で止まった場合 • maxWaitTime 経過すると、A, BにはCさんが脱落と表示 21 Cさん Aさん Bさん
22. SEND BLOCKで脱落する場合② •脱落したCさんにも • コンピューターによって脱落したことが表示される 22 Cさん Aさん Bさん
23. BOTであることを知られないようにする •MATCHやSEND BLOCKを編集する • 日本語化や文章変更によって • BOTであることを知られないようにもできる 23
24. 3.3 チャットテンプレート
25. チャット •“Communication”実験 • サンプルがチャットではない • 上2つは、SEND, GETで送受信 •CHAT BLOCKの実験 • この５つはCHAT BLOCK使用 25
26. チャットを試してみよう •Demoの”Single-Stage Chat”を試す • 2人用のシンプルなチャット • Chat_single_stage_2_TEMPLATE_11-6-2019.qsf • researcherIDとstudyIDをセットして試す 26
27. アンケートフローでの流れ •とてもシンプル • SENDやGETの代わりに「CHAT BLOCK」に 27
28. チャット専用ブロック：CHAT BLOCK •CHAT BLOCK • 1セッションにおいて、複数回メッセージを送信できる •Variables • チャット保存用の埋込データ • 名前はなんでもOK（サンプルはchatLog） • chatName • ここに指定した埋め込みデータに、チャットログが保存される • chatDuration：制限時間（10〜600秒） • chatInstructions：説明文 • allowExitChat：退出ボタン • その他：ウィンドウサイズ変更など 28 https://smartriqs.com/chat/
29. チャットの履歴 •chatNameで指定した埋め込みデータに保存 • 内容はチャットの画面そのまま • HTML形式で保存される 29 Aさんの回答列 → Bさんの回答列 →
30. グループ分け •4人などの場合、２グループ作成も可能 • 設定する埋め込みデータを条件分岐で変える • こんなことにも：実験課題を行い、成績上位２名 と 下位２名 30
31. 3.4 自分専用の SMARTRIQSサーバーを設置する
32. SMARTRIQSサーバーを設置する •公式が用意したものを使っている • このサーバーを自分で用意することもできる • 設置用のファイルが公開されている 32
33. 自分でサーバーを設置するメリット •メリット • 公式サーバーに影響されない • 何でも情報を送信できる • 1グループの人数制限を撤廃可能 •デメリット • 自分でサーバー管理する必要あり • サーバーのキャパなどは見極める必要あり • モニタリングできない 33
34. 実験者・先生向け（あとは倫理申請） •万が一のために知っておいて損はない • 公式サーバーがダウンする可能性もある • バックアップ手段は、あって損はない •外部サーバーに公開できないデータもアップできる • 実験のインタラクションで、他人が管理するサーバーに送る とまずい情報をやりとりする場合 34
35. ①サーバーを借りる •一般的なレンタルサーバーでOK • ドメイン設定とFTPソフトでファイルアップできる • Xserverとかさくらサーバー etc 35
36. （余談）サブドメイン設定 •多くのサーバーではサブドメインを設定できる • 実験用ドメインを作成できる • メインアドレス： https://hogehoge.com • サブアドレス： https://experiment.hogehoge.com 36
37. ② GitHubからファイルをダウンロード •公式GitHubからファイルをダウンロード • 6つのPHPファイルが必要 37
38. ③ レンタルサーバーにアップロード •ドメイン直下にsmartriqsフォルダ作成してアップ • サーバーのURLは、以下になる serverURL = https://www.yourdomain.com/smartriqs 38
39. ④フォルダ作成する •SMARTRIQSフォルダ内に適当なフォルダを作成 • このフォルダが、researcherIDとなる • 必要なユーザー分だけ作成する 39
40. ⑤アンケートフローで設定 •serverURL • 先ほどの通りにリンクを設定する serverURL = https://www.yourdomain.com/smartriqs •researcherID, studyID • researcherID： さっき作ったフォルダ名 • studyID： なんでもOK 40
41. ８人よりも多い人数で実験する場合 •PHPファイルを編集する • ファイルの人数部分を変更するだけ • （公式でやってないのでリスクもあるはず） https://kscscr.com/archives/smartriqs- group-size-extend.html 41
42. 3.5 複数の情報を送信する （JavaScriptで拡張） 先制攻撃ゲームを例に
43. 個人から複数のデータを送信する •参加者一回につき一つの情報しか送信できない • 投資ポイントや実験での選択など • 「反応時間と選択の両方を送信したい！」 •例：先制攻撃ゲーム • 500円の持ち金/ 制限時間 30秒 • 先に攻撃すると100円消費し、相手から400円減らす • 攻撃しないと、お互い500円もらえる 43 VS
44. ゲームの構造 •流れ 1. 30秒以内に攻撃する or 攻撃しない 2. 「選択」と「反応時間」を集計 3. 結果を表示する 1. 自分：攻撃した場合 1. 相手も攻撃 1. 相手より反応時間が早いかどうか 2. 相手が攻撃しない 2. 自分：攻撃しない 1. 相手が攻撃 2. 相手が攻撃しない 44
45. 反応時間と選択データを一緒に送信する •SEND BLOCK • 1ステージ1データのみ送信できる • 一緒にまとめて送信すればいい • 埋め込みデータ”set” • カンマ区切りで”選択”と”時間”を一緒にサーバーへ 45
46. GET BLOCKは通常通り •回答は通常通り受信する • まとめて送ったデータをそのまま受け取る 46
47. JavaScriptで回答を分解する •ブロック内にJavaScriptを書く • JavaScriptで分割する • 相手の選択 + 反応時間 47
48. 豆知識：JavaScriptで埋め込みデータの操作 •JavaScriptで埋め込みデータの操作 • 呼び出し • 差し込みテキストを挿入と同じ形式で呼び出す • 設定する • setEmbeddedDataを使う 48
49. ChatGPTに頼る •GPT-4oはいい感じのコードを書いてくれる 49
50. （余談）もっと簡単な解決策 •SEND・GET BLOCKを２つ連続させる • 1つ目(Stage1)：攻撃 or 攻撃しない選択を送信 • 2つ目(Stage2) ：反応時間を送信 50 SEND BLOCK1 GET BLOCK1 SEND BLOCK2 GET BLOCK2