AI彼女の感情制御を頑張る話

【LT大会】AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜
https://connpass.com/event/285636/

1. AI彼女の感情制御を頑張る話 @kokushing AI捻じ伏せプロンプト選手権 〜言うこと聞いてよLLM2023〜
2. 自己紹介 Yusuke Ishiguro (こくしん) 株式会社メイクリー Co-Founder 得意: Webフロントエンド領域 趣味: 一人ハッカソン 最近はAIイラスト, 合成音声技術を研究中 Twitter: @kokushing
3. AI彼女について
4. ChatGPT×Live2Dを用いたブラウザで動く対話型アプリ Next.js+Vercelで実装 PWA対応 https://ai-girl.app/
5. 一つ大きな問題が...
7. 返答と感情が一致していない😭 ※現状、ランダムでモーションを再生しているため
8. このままだとUXが良くないため、感情の制御を行う どう実装するか？ Natural Language API や kuromoji.js などを用いてネガポジ判定を行う？ でも料金/実装コストがかかりそうだし、レスポンス速度が落ちそう...
9. ChatGPTに感情を出力してもらおう！
10. JSON形式で返却するように指定してみる { role: "system", content: ` ... キャラ設定 ... また、セリフの感情を判断して、ポジティブなら 1、ネガティブなら-1を 下記のJSONフォーマットで出力してください { "emotion": "" } ` }
13. なんかいけそう？と思ったが... • JSON形式で返してくれない (よく見たらオブジェクト...) • 指定したプロパティや値で返してくれない • そもそもメッセージだけでJSONを返してくれない
14. どうしよ〜🤔と悩んでいた頃...
15. Function calling 爆誕！
16. Function calling とは？ • ユーザが入力した内容に応じて、任意の関数を実行できる機能 → 返答に関数呼び出しが必要とGPTが判断した場合に実行される → 外部APIとの連携処理などを簡単に組み込める • サードパーティ製に頼らず、OpenAI純正のAPIとして実装できる • 現状 gpt-3.5-turbo-0613 及び gpt-4-0613 モデルでのみ利用可能
17. 簡単な図解 「明日の天気教えて」 (アカン...これはAPIで取得せな...) 「明日は晴れです」 「晴れやで」 「やったぜ」 GPT 天気API ユーザ Function calling !!
18. Function calling 使って AI彼女の返答と感情を JSON形式で取得してみる
19. Function callingでJSON形式の結果を得るには ポイントは2つ 1. createChatCompletion の function_call に関数名を直接指定する → デフォルトは "auto" (GPTが関数呼び出しを判断する) → 直接関数名を指定することで、必ず呼び出すことができる function_call: { name: "getMessageAndEmotion" } 2. GPTがFunction callingを行うと function_call オブジェクトをJSON形式(string)で 取得できるため、JSON.parseしてそのまま返答として利用する
20. 関数はこんな感じ
21. 関数が呼ばれた結果 ※ createChatCompletion のレスポンス内容
22. クライアント側でのレスポンス結果 ※ emotion: 1 は「喜」の感情
23. JSON形式で取得できた👏
24. 他の感情も問題なさそう
25. あとはLive2Dと連携すれば...
27. 素敵な笑顔が見れました！
28. Thank You 🙏 ご清聴ありがとうございました。 メイクリーではAI×サブカルチャー領域での お仕事を募集しております！ ご相談は @kokushing まで DMお待ちしてます！