Session 4: Special Information Needs (CHIIR 2019)

2019年3月23日
「IR Reading 2019春」における論文紹介
http://sigir.jp/post/irreading_2019spring/

Transcript

1. Session 4: Special Information Needs (CHIIR 2019) 2019年3月 高久雅生 （筑波大学図書館情報メディア系） masao@slis.tsukuba.ac.jp 1 IR Reading 2019春 2019年3月22日
2. 発表セッションの概要 • HAIR: Towards Developing a Global Self-Updating Peer Support Group Meeting List using Human-Aided Information Retrieval  Sabirat Rubya (University of Minnesota), Xizi Wang (University of Michigan), Svetlana Yarosh (University of Minnesota) • Experimental Methods in IIR: Resolving the Tension Between Rigour and Ethics in Studies Involving Users with Dyslexia  Gerd Berget (Oslo Metropolitan University), Andrew MacFarlane (City, University of London) • NotifyMeHere: Intelligent Notification Delivery in Multi-Device Environments  Abhinav Mehrotra (University College London), Robert Hendley (University of Birmingham), Mirco Musolesi (University College London)  [Best Paper] 2
3. 論文1: HAIR (1) • HAIR: Towards Developing a Global Self- Updating Peer Support Group Meeting List using Human-Aided Information Retrieval • アルコール依存症からのリハビリに使われ るピアサポートグループの会合イベントの 一覧を自動作成・更新するツールの開発 手法：情報抽出手法（機械学習） + クラウド ソーシング • 候補ページの抽出（分類）（＋クラウド） + イベント項目の抽出（＋クラウド） + 最終結果の判定出力（更新） 3
4. 論文1: HAIR (2) • 情報抽出の各プロセスにク ラウドワーカによる判定作 業を追加するアプローチの 提案  月一回の更新頻度で96時間 程度のコスト見積 • 感想：  人手同定と機械学習手法を ブレンドする手法は様々あ るものの、論文になりにく く、個別データを使った検 証には一定の価値あり  要議論：正解率の閾値設定 等に応じたアプローチの変 更可能性、どこに人手同定 処理を設けるかといったレ ベルでの手法設計の議論が あるとより有益ではないか 4 Random Forest 確信度 90%未満 抽出漏れ 誤り修正
5. 論文2: Dyslexia (1) [Perspective Paper] 論点の提示 • Experimental Methods in IIR: Resolving the Tension Between Rigour and Ethics in Studies Involving Users with Dyslexia • ディスレクシア（読字障害）のユーザに対 する研究実施（ユーザ実験等）における方 法論的な困難さについて議論 統制された実験環境を保持することが難しい その原因と（一部の）対策を議論 5
6. 論文2: Dyslexia (2) • ディスレクシア（識字障害） 文字読み取りや短期記憶などの認知処理に障害 全人口の7%程度が識字障害を持つと言われる 障害をもつユーザに対するIIR実験：ユニバーサ ルアクセスの視点からも重要になってきている • 統制実験計画の設計における課題とは? • 課題 参加者リクルート、サンプリング、実験への同 意、データ収集、課題の提示、課題の遂行、実 験結果の記述 6
7. 論文2: Dyslexia (3) • 検討事項と提案：  （全体）共感的で包摂的な対応  実験への同意：テキストだけでなく読み上げや、繰り返し同 意をとる等の工夫  診断：認知テストの実施、診断を受けたことが無い被験者へ の対応等の倫理的課題、複数の異なる障害の度合い  サンプル：学内のサポートグループ等の活用、男性の方が多 い  遂行課題：長時間・多数・難易度の高い課題は避け、バラン スに配慮  課題提示：用語、フォント、スクリーンリーダ・カラース キーマ等の配慮  etc. • 感想：研究上の倫理的な課題を再考させるPerspective paperらしい「良い論文」。改めて統制実験の難しさにつ いて考えさせらる。 7
8. 論文3: NotifyMeHere (1) • NotifyMeHere: Intelligent Notification Delivery in Multi-Device Environments • 目的：日常的な複数デバイスにおける通知 を扱うユーザアクションを調査した上で、 より知的な通知先選択手法の提案と評価 • 手法： ユーザ側の通知対応手段の大規模調査：26名、 21日以上 ユーザの通知を受取りやすいデバイスを選ぶ機 械学習モデルの構築と評価 8
9. 論文3: NotifyMeHere (2) • データ収集： Androidの通知リスナサービス、活動認識、ネット ワーク接続状態の各API、GPSデータ、デバイス利用 • データセット： 2016年1月～6月：Google Play Storeからインストー ルしたユーザのうち、21日以上使用したユーザ26名 57,242通知イベント • + モバイル接触データ：819万件 • + コンテキストデータ：190万件 • データセットから、通知をモバイル端末で扱っ たか、他のデバイスで扱ったかの判別 9
10. 論文3: NotifyMeHere (3) 10 予測から 除外
11. 論文3: NotifyMeHere (4) • 通知処理デバイスに影響する要因 Time intervalを除く全要因がカイ二乗検定で有意 差あり 11
12. 論文3: NotifyMeHere (4) • 前回のコンテキスト（activity, location, network）スイッチからの経過時間を特徴量 に加えた機械学習モデル（個人化モデル） 91%精度 （モバイル通知） 82%精度（モバイル以外への通知） 12
13. 論文3: NotifyMeHere (5) • 感想 データの収集がまず大変そう… さらに、「通知の処理」をうまく定義するのが 大変そう… • 大規模データ収集＋通知処理推定手法の方法論とし て興味深い 一方で、通知処理の選好推定は、もっとユーザ 側のフィードバックデータから見たほうがよさ そうに感じた 13