論文紹介: Dynamic Demonstration Retrieval and Cognitive Understanding for Emotional Support Conversation (D2RCU) (SIGIR 2024)

IR Reading 2024 秋 での論文紹介に用いた資料を公開します。
https://sigirtokyo.github.io/post/2024-11-09-irreading_2024fall/

紹介した論文
Dynamic Demonstration Retrieval and Cognitive Understanding for Emotional Support Conversation (D2RCU) (SIGIR 2024)

Transcript

1. IR Reading2024 秋 発表者：筑波⼤学 加藤研究室 ⽥⾙ 奈央 Dynamic Demonstration Retrieval and Cognitive Understanding for Emotional Support Conversation (D2RCU) Zhe Xu, Daoyuan Chen, Jiayi Kuang, Zihao Yi, Yaliang Li, Ying Shen
2. 感情的なサポートを提供する対話システム ECS: Emotional Support Conversation 研究背景 • ユーザがネガティブな感情に陥って いるときに共感的な応答を⽣成して ⽀援する • 共感、慰め、具体的な助⾔の提供 • カウンセリング、メンタルヘルスサ ポート、カスタマーサポートなどで 有効 • ユーザ体験の向上にもつながる 状況 数⽇前、私は階段を降りる際に転び、2本の前⻭を⽋けさ せ、⾜も折れました。⾜の⼿術を受ける必要があり、⻭科 でクラウンを⽤いて⻭の治療を受ける必要があります。 ⽀援者 ⽀援を 求める⼈ あまり良くありません。 数⽇前に階段から転んで⾜を⾻折し、 2本の前⻭を⽋けさせました。 ⽀援者 ああ、それは本当に痛そうですね。 何か医療⽀援を受けることはできますか？ こんにちは、何か話したいことはありますか？ 1
3. ⽀援を求める⼈の状況・状態に応じて段階的に応答を進める[1] 研究背景 ⽀援者 探索フェーズ 状況や感情を理解し話を引き出す それは⼤変でしたね。 他に何か痛みや不安を感じていますか？ 安⼼感の提供 フェーズ ⽀援者 共感を⽰し、安⼼感を与える あなたが今感じている⾟さや痛み、本当に⼼ からお察しします。そんな中でも、お話しい ただきありがとうございます。 ⾏動フェーズ ⽀援者 励まし、具体的な⾏動を促す もし今後不安を感じたら、いつでも私に相談 してください。無理をせず、少しずつ前に進 んでいきましょうね。 2 [1] Clara E Hill. 2009. Helping skills: Facilitating, exploration, insight, and action. American Psychological Association.
4. 関連研究 関連研究 課題 共通知識の活⽤[2] COMETを⽤い 共通知識を取得し 感情や⽂脈を考慮 認知理解が不⾜し 応答の多様性が制限 感情の模倣と戦略の予測[3] 感情を模倣し 戦略を予測し応答⽣成 深い⽂脈理解や 認知的な応答⽣成が不⾜ 強化学習と戦略選択[4] 強化学習を⽤い ⽀援を求める⼈の反応に合わせ た最適な戦略を選択 認知的⽂脈理解が不⼗分 個別対応が困難 ペルソナを考慮した 戦略的デコーディング[5] ペルソナ情報を⽤いて 戦略的な応答を⽣成 認知⽂脈理解が不⾜し、複雑な 状況対応に限界 3 [2] Cheng, Y., Liu, W., Li, W., Wang, J., Zhao, R., Liu, B., ... & Zheng, Y. (2022). Improving multi-turn emotional support dialogue generation with lookahead strategy planning. arXiv preprint arXiv:2210.04242. [3] Sabour, S., Zheng, C., & Huang, M. (2022, June). Cem: Commonsense-aware empathetic response generation. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 36, No. 10, pp. 11229-11237). [4] Cheng, Y., Liu, W., Li, W., Wang, J., Zhao, R., Liu, B., ... & Zheng, Y. (2022). Improving multi-turn emotional support dialogue generation with lookahead strategy planning. arXiv preprint arXiv:2210.04242.. [5] Rogers, A., Boyd-Graber, J., & Okazaki, N. (2023, July). Findings of the Association for Computational Linguistics: ACL 2023. In Findings of the Association for Computational Linguistics: ACL 2023.
5. ⽂脈に応じた過去の例を活⽤し ユーザの認知状態を理解して共感的な応答を⽣成 Challenge ⽀援を 求める⼈ 家族が⾯倒を⾒てくれることに感謝して いますが、私は松葉杖をつき⾜を冷やし ていない時はブーツを履いています。 ペルソナ 私が松葉杖をついている間、家族が⾯倒⾒てくれる。 先⽇⾜を⾻折し、前⻭を2本折った。 ⽀援者 家族が気にかけてくれることはいいことです。 私も、ギプスをつけることが決まったら、私も きっと落ち込みます。 戦略：⾃⼰開⽰ Challenge2： 認知的状況理解 Challenge1：動的デモンストレーションの取得 彼⼥（娘）が助けを必要としているときに伝えてくれるように、また助 けを受け⼊れる意思を持ってくれるように促してください。 私の友⼈たちがこのような状況でしているのを⾒た限りでは、娘さんが 興味を持っていることを⾒つけてみるのが良いと思います。 難しいかもしれませんが、⽇光は私たちの気分にとって重要です。時間 があるときに⼀息つける瞬間を⾒つけられると良いですね。 私には⼦供はいませんが、散歩に連れて⾏ってくれる⽝がいます。 本当にありがとう！ どういたしまして！お役に⽴てて嬉しいです！ ⾃⼰開⽰ その他 感情の反映 1st 2nd 3rd In-context Learning COMET: ⼊⼒から常識を獲得 Want Need Intent Effect 健康であること 良くなること 気分が良くなること 安全であること 医者に⾏くこと 痛みを感じること ギプスをつけること 健康であること シャワーを浴びること 良くなること 仕事に⾏くこと 休息を取ること 絆創膏を貼ること ギプスをしていること ギプスをつけること 痛みを感じること 4
6. 提案⼿法 ‒ D2RCU (1)動的デモンストレーション取得と(2)認知的状況理解を (3)多知識融合デコーダで組み合わせ応答⽣成するD2RCUを提案[6] (1) 動的デモンストレーション取得 (2) 認知的状況理解 (3) 多知識融合デコーダ 5 [6] XU, Zhe, et al. Dynamic demonstration retrieval and cognitive understanding for emotional support conversation. In: Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2024. p. 774-784.
7. • ユーザの現在の状況、感情に応じて過 去の会話データから⽂脈に適した応答 例を動的に取得 • 得られた例は応答⽣成の参考に⽤いる ◦ ⽂脈的な関連性や共感性を⾼める • ⼊⼒されたクエリ（persona, post）を 元にDPRを⽤いてクエリとパッセージ （strategy, response）のペアを得る • In-context Learningの例として扱う コンポーネント① 動的デモンストレーションセレクタ 6
8. コンポーネント② 認知的側⾯状況理解 post context Want Need Intent Effect 健康であること 良くなること 気分が良くなること 安全であること 医者に⾏くこと 痛みを感じること ギプスをつけること 健康であること シャワーを浴びること 良くなること 仕事に⾏くこと 休息を取ること 絆創膏を貼ること ギプスをしていること ギプスをつけること 痛みを感じること Cognitive Encoder Cognitive Refiner Cognitive Selector Cognitive State 𝐂𝐎𝐌 COMET Want Need Intent Effect 良くなること ギプスをつけること 良くなること ギプスをつけること 痛みを感じること ⼈間の常識的な推論を⽣成 認知的な⽂脈表現を獲得 𝐸! " = Encoder(COM") 𝑈! #$! = 𝐻%&'⨁ℎ% #$! 𝐻! (#) = Enc"#)(𝑈% #$!) 認知情報をエンコード エンコードされた認知情報ℎ% #$!と 対話履歴全体の⽂脈情報𝐻%&' を結合 𝐶𝑇𝑋 = 𝑢! ⨁𝑢" ⨁ ⋯ ⨁𝑢# 𝐻! #$! = Enc#$!(𝐸! ") 𝐻! *#+ = Sigmoid(𝐻% (#)) ⊙ 𝐻% (#) 𝐻! = MLP(𝐻% *#+) 利⽤する認知表現を選択 𝑯𝒄 7
9. • 複数のソースを組み合わせる • 単⼀の情報に依存せず⾼度で 多様な応答を⽣成 コンポーネント③ 多重知識融合デコーダ エンコードされた認知 エンコードされた⽂脈 エンコードされた候補のペア 8
10. • データセット ◦ ESConvデータセット：⽀援者と⽀援を求める⼈の対話で構築 ◦ 各対話は平均約29.8ターン • 評価指標 ◦ 戦略予測精度（ACC） ◦ パープレキシティ（PLL） ◦ BLEUスコア（B-1,B-2,B-3,B-4） ◦ 多様性指標（D-1,D-2） ◦ ROUGE-L(R-L) ◦ 総合スコア( ̅ 𝑠norm) • 学習 ◦ モデル：Blenderbot-small 実験設定 9
11. • 提案⼿法が優れている 結果 10
12. Ablation Study w/o Pairs クエリと応答のペアが考慮されておらず むしろノイズになっていると考えられる DDSが⼀番効いている 感情的な側⾯のみ着⽬する時より 認知的側⾯を考慮した⽅が良い 11
13. ⼈による評価 Human evaluation⽤のテストセットからランダムで100個の対話を選択 4⼈のボランティアで評価（⾃然⾔語処理分野の⼤学⽣、対話システムの知識あり） 応答が流暢で理解できるか 応答が会話の⽂脈にどれぐらい⼀致しているか どれぐらい適切なアドバイス・提案か 回答に含まれる情報量 応答全体の有効性 慰めを与える能⼒ 感情的な⽀援に適した応答が⽣成できている PAL ユーザペルソナを動的に構築し ペルソナを⽤いてESCを拡張 12
14. Parameter Analysis 取得するデモンストレーションペアの数による性能の変化 ⼗分な参照情報が不⾜ ノイズになっている 総合的に検討した結果Top3を取得するのが良い 13
15. ケーススタディ 14 より具体的な提案に より適切な戦略に
16. (1)動的デモンストレーション取得と(2)認知的状況理解を (3)多知識融合デコーダで組み合わせ応答⽣成するD2RCUを提案 まとめ (1) 動的デモンストレーション取得 (2) 認知的状況理解 (3) 多知識融合デコーダ 15