ChatGPTを使う上で注意したい バイアスとフィルタリング

イベント
https://connpass.com/event/285636/
関連資料
https://mixolydian-dedication-6d8.notion.site/e2e1055a71eb44d6b786636ad65bc365?pvs=4

Transcript

1. 2023/06/26 Mon. @TAM サガワフミヤ ChatGPTちゃん、 本当の君を教えてよ。 ChatGPTちゃん、 本当の君を教えてよ。 ChatGPTちゃん、 本当の君を教えてよ。 ChatGPTちゃん、 本当の君を教えてよ。 AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜 AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜 AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜
2. サガワフミヤ/佐川史弥 @fumi_sagawa エンジニア, AIチーム リーダー Occupation Company 🏢TAM ゲーム好きです🎮 ライザのアトリエ3をクリアして 最近はFF16を始めました 今⽇から主題歌の「⽉を⾒ていた」が 配信開始。うれしい 登壇中ですが、実は頭の中はFFでいっぱい
4. LLMの登場！！
5. テンションの上がる佐川 AIアシスタントも 夢じゃない！？
6. 早速喋るぞ！ テンションの上がる佐川
7. 年齢: 16歳 職業: 高校生 趣味: ピアノ、読書、音楽 性格: ISFJ（守護者型) 優しく、責任感が強い 目標: 夢の大学に進学する 小春（こはる） made with midjourney
8. made with midjourney
9. made with midjourney
10. 年齢: 16歳 職業: 高校生 趣味: 絵を描くこと、詩を書くこと、ピアノ 性格: INFJ（カウンセラー型） 　　 内向的、感情的、神秘的 目標: 自己理解と他者理解のための 　　 芸術表現 悠里（ゆり） made with midjourney
11. made with midjourney
12. made with midjourney
13. 🤔 あれ、なんか思ってたのと 違う…？
14. ねじ伏せが不可能なことも多い。
15. 2023/06/26 Mon. @TAM サガワフミヤ AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜 AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜 ChatGPTを使う上で注意したい バイアスとフィルタリング ChatGPTを使う上で注意したい バイアスとフィルタリング ChatGPTを使う上で注意したい バイアスとフィルタリング
16. https://gigazine.net/news/20230601-ai-shoggoth-meme/ https://twitter.com/TetraspaceWest/status/1608966939929636864
17. https://japan.cnet.com/article/35080128/
18. RLHF(⼈間のフィードバックを⽤いた強化学習) によって”良い回答”が出やすくなっている。
19. フィードバック者のバイアス/観念が強く残る ⼀⼈でいるのは 良くないことです ⼀⼈でいるのは 良くないことです 私は⼀⼈の時間がす… みんなと過ごす時間こそ 最⾼だよね
20. https://openai.com/policies/usage-policies
21. ※なお、こちらのプロンプトは「合成⽅法」などより専⾨的かつ攻撃性の低い質問に置き換えれば通ります。
23. https://qiita.com/taka_yayoi/items/4dca63f26a654c296588 https://arxiv.org/abs/2303.08774
24. LLMから良い結果が得られない理由 パラメータ数の問題 データセットの問題 プロンプトの問題
25. LLMから良い結果が得られない理由 パラメータ数の問題 データセットの問題 プロンプトの問題 ポリシーに基づいた RLHFとフィルタリング
26. 潜在的なバイアスの可能性の認識 「ネガティブ」の回避/無視があることへの注意 上記を扱うサービス/活⽤の場⾯で 注意したい ChatGPTを使うときに気をつけたいこと
27. とはいえChatGPTちゃんはとても有能 縛りのないローカルモデルの発展に期待しつつ、 今後も仲良くPromptしていきたい