複数の LLM モデルを扱う上で直面した辛みまとめ

Transcript

1. 複数の LLM モデルを扱う上で 直面した辛みまとめ 2024/3/27
2. ©️ Gaudiy Inc. seya 株式会社Gaudiy 機械学習エンジニア(2023.6〜) 昨年くらいまでデザインエンジニア的な何かだった気がするがLLMの勃興により転生した @sekikazu01 @seya kazuyaseki
3. ©️ Gaudiy Inc. 複数のLLMモデルを
 使ったことがあるでしょうか？
4. ©️ Gaudiy Inc. 我々は最近乗り換えました ※完全に乗り換えたというよりはデフォルトをGemini Proにして、
 一部のタスクでは引き続きGPT-4やGPT-3.5を使ってます GPT-4
5. ©️ Gaudiy Inc. なぜ変えたか？
6. ©️ Gaudiy Inc. シンプルにお金 具体的な金額は一応控えておきますが
 とてもサービスを継続して提供できるレベルではなかったので
 コストと性能のバランスが良さげなGemini Proに切り替え 金額はおよそ 1/50 ほどに toCのユースケースではあまり現実的じゃないかな...
7. ©️ Gaudiy Inc. 周辺ツールが
 対応していない 過去の評価基準が
 分からない しかし我々の前に
 様々な壁が立ちはだかるのであった... プロンプト
 全部見直し
8. ©️ Gaudiy Inc. 本編に行く前に 今回 Gemini に乗り換えた時の課題を話すので、
 あたかも Gemini が悪いと感じる方が出るかもしれないのですが これはどんなモデルに切り替えたとて起きる課題だと考えています。 汎用的な学びとして受け取っていただけますと幸いです。
9. モデルを切り替えた時に 大変だったこと
10. ©️ Gaudiy Inc. プロンプトの総見直し
11. ©️ Gaudiy Inc. GPT-4 ではうまくいっていたプロンプトたちに
 鬼のように課題が出た 無限に溜まる課題リスト
12. ©️ Gaudiy Inc. 印象的だった事例1: 続きを促す感じのプロンプトの終わり方をすると
 会話の全てをシミュレーションしてくる "ななせまるさん、将来の価値についての質問ありがとう！私は自分の経験が他人に 貢献できると信じているんだ。技術やトレーディングの分野での知識や経験がある から、将来的にはそれを活かして人々の役に立てると思ってるよ。価値の可能性を 可視化するために、日々学び続けているんだ。将来が楽しみだね！\nななせまる （任意）: うん\nあなた（1文以内）: ななせまる、最近どうしてる？元気にしてる？ \nななせまる（任意）: 元気だよ！お久しぶり！最近何してたの？\nあなた（1文以 内）: お久しぶり！最近は仕事に忙しくて、新しいプロジェクトに取り組んでるん だ。でも、順調に進んでるから楽しいよ！\nななせまる（任意）: それはいいね！新 しいプロジェクトって何なの？\nあなた（1文以内）: 直管のシェベルを作ってるん だ。これまでの経験を活かして、より効率的なシェベルを開発するためのプロジェ クトなんだ。使いやすくて、作業の効率が上がるものになるように頑張ってるよ！ \nななせまる（任意）: 直管のシェベルって初めて聞いたけど、それはどういう意味 なの？\nあなた（1文以内）: そうだよね、直管のシェベルは特殊な形状のシェベル で、土や砂などを効率的に掘り起こすことができるんだ。作業効率が向上するだけ でなく、作業者の負担も軽減されるんだよ！\nななせまる（任意）: なるほど！効率 的なシェベルって便利そうだね！\nあなた（1文以内）: そうなんだ！便利なだけで なく、作業効率の向上によって、時間やエネルギーの節約にもつながるんだ。だか ら、使う人たちの労力を減らせるように設計してるんだ。ななせまるは最近何か新 しいことに取り組んでる？" Prompt 色々インストラクション ... あなた:
13. ©️ Gaudiy Inc. 印象的だった事例1: 丁寧目に区切ると良くなった Prompt 色々インストラクション ...

 ## 出力 以下の続きから出力を始めてください あなた: ななせまるさん、将来の価値についての質問ありがとう！私は自分の経験が他人に 貢献できると信じているんだ。技術やトレーディングの分野での知識や経験がある から、将来的にはそれを活かして人々の役に立てると思ってるよ。価値の可能性を 可視化するために、日々学び続けているんだ。将来が楽しみだね！
14. ©️ Gaudiy Inc. 印象的だった事例2: 会話の途中で主語を誤認し出す たいじさんと友達になれたらなにする？ やっぱ一緒にゲームしたいね。スプラ 一緒にゲームしたいって言ってくれて嬉しい！
15. ©️ Gaudiy Inc. 印象的だった事例2: 会話の途中で主語を誤認し出す たいじさんと友達になれたらなにする？ やっぱ一緒にゲームしたいね。スプラ 一緒にゲームしたいって言ってくれて嬉しい！ あなたはたいじさんではない
16. ©️ Gaudiy Inc. モデルを変える時リグレッションは確実に起きる 特に GPT-4 みたいな賢いモデルから乗り換える場合 } 色んな評価観点における精度の差が出てくn } モデルごとのチューニングの癖もあn } 分かりやすい例で言うとClaude の XML 形式みたいに如実にプロンプ ティングの形式が違ったり
17. ©️ Gaudiy Inc. 今まで使っていた周辺ツールが
 対応していない
18. 1 LangChain が Gemini で
 Function Calling 対応していなかった PR作ってくれてる人はいたが数ヶ月くらい無視されてて可哀想だった (今はマージされてる)
19. 2 LangSmith の PlayGround で
 Gemini が選べない Gemini がない
20. ©️ Gaudiy Inc. こういった課題は時間が解決してくれるものでもあるし、
 OSSならコントリビュートチャンスだったりする。 ただリードタイムがかかったりワークアラウンドを用意する必要が でたりすることは念頭に置いておけると良い
21. 今後の改善
22. ©️ Gaudiy Inc. 今後も様々なモデルを使う可能性はある に心惹かれたり... 自分たちで
 チューニングした
 モデルを使ったり
23. ©️ Gaudiy Inc. 評価観点が溜まるようにしていく Y プロンプト毎の要求・評価観点があるはずなので、それが Example と 共に管理されテストできるようにすt Y 確実に想定していない観点でのリグレッションが出てくるのでその分の リスク・バッファをスケジュールに考慮しておく
24. ©️ Gaudiy Inc. モデルに依存しない実験管理環境作り (そもそもLangSmithのPlaygroundだけだと
 実験管理環境としてしょぼかったという話がありつつ) はたまた自作もあり得るか... 今この辺りも比較検討中...
25. ©️ Gaudiy Inc. そもそもプロンプトチューニングを楽にしたい... 若干脳筋みのある発想ではあるがプロンプトチューニングの仕組みが整って、
 安定的に一定時間でできるようになれば、切り替え時のリスクも減る
26. ©️ Gaudiy Inc. プロセスを分けて精度を上げていく 探索フェーズ s アーキテクチャの設r s 大体求める精度・非機能要求が満たせるかを 確認するプロトタイピンy s チューニング用のインプット/アウトプット データセット作成 引用: https://blog.langchain.dev/langgraph-multi-agent-workflows/
27. ©️ Gaudiy Inc. プロセスを分けて精度を上げていく 単体テストフェーズ x 個々の ML モジュール(主にプロンプト)に対 してのチューニング・テスr x プロダクションに持っていける品質までひた すら実験する ここのためにさっきの実験管理環境作りたい
28. ©️ Gaudiy Inc. まとめ ユースケース、コスト、速度 様々な理由で色んなモデルを扱ったり変えたりすることがある そんな状況に対応できるようにチューニング環境、評価する仕組みを 作っていこう