PLaMoを毎日の開発で使い育てていく

PLaMoを毎日の開発で使い育てていく株式会社 Preferred Networks 三上裕明

PLaMoのdogfooding PLaMoを使う一番の目的: PLaMoの課題・問題点を見つけること PLaMoによる業務の効率化タスク指示結果 (成功) 2

PLaMoのdogfooding PLaMoを使う一番の目的: PLaMoの課題・問題点を見つけること PLaMoによる業務の効率化タスク指示結果 (成功) • PLaMoでなくても良い 3

PLaMoのdogfooding PLaMoを使う一番の目的: PLaMoの課題・問題点を見つけること PLaMoによる業務の効率化 PLaMoが失敗した事例の収集タスク指示タスク指示結果 (成功) 結果
(失敗) • PLaMoでなくても良い 4

PLaMoのdogfooding PLaMoを使う一番の目的: PLaMoの課題・問題点を見つけること PLaMoによる業務の効率化 PLaMoが失敗した事例の収集タスク指示タスク指示結果 (成功) 結果
(失敗) • PLaMoでなくても良い • PLaMoでのみ実現可能 5

PLaMoのdogfooding PLaMoを使う一番の目的: PLaMoの課題・問題点を見つけること PLaMoによる業務の効率化 PLaMoが失敗した事例の収集タスク指示タスク指示 PLaMoが失敗する可能性のあるタスクでdogfoodingをしたい結果 (成功)
結果 (失敗) • PLaMoでなくても良い • PLaMoでのみ実現可能 6

例: PLaMo開発レポジトリのCI監視 CIの監視: 長期間の動作が必要なagentタスクの一例 1 CIの状況取得 2 ログの調査 3 エラーの判定
CI実行中修正すべきエラー retryで治るエラー・障害 4 CIのリトライ 7

修正すべきエラー LLM agentの必要性: retryで治る ﬂakyなテストの失敗などを判定エラー・障害 CI実行中する必要がある 4 CIのリトライ 8

修正すべきエラー LLM agentの必要性: retryで治る ﬂakyなテストの失敗などを判定エラー・障害 CI実行中する必要がある難しい点: チェック→待機→チェックのループが必要 4 CIのリトライ 9

PLaMo-3.0-Primeを使ってみる: 課題実際にPLaMo-3.0-Primeを使ってみた時のよくあるパターン PR ABCのCIが終わるまで待機 10

PLaMo-3.0-Primeを使ってみる: 課題実際にPLaMo-3.0-Primeを使ってみた時のよくあるパターン PR ABCのCIが終わるまで待機 tool call: CIの状態をチェックするscript 11

PLaMo-3.0-Primeを使ってみる: 課題実際にPLaMo-3.0-Primeを使ってみた時のよくあるパターン PR ABCのCIが終わるまで待機 tool call: CIの状態をチェックするscript 状態: 実行中
12

PLaMo-3.0-Primeを使ってみる: 課題実際にPLaMo-3.0-Primeを使ってみた時のよくあるパターン PR ABCのCIが終わるまで待機 tool call: CIの状態をチェックするscript 状態: 実行中
CIは実行中なのでしばらく待機します。 (sessionが終了してしまう) 13

PLaMo-3.0-Primeを使ってみる: 課題実際にPLaMo-3.0-Primeを使ってみた時のよくあるパターン失敗事例: 長期間の待機が現在難しい ABCのCIが終わるまで待機 •PR現在のPLaMoに足りない能力を発見できた問題点: tool call:
CIの状態をチェックするscript • 具体的な改善点が不明のままのことが多い • 普段から使い続けるのは難しい状態: 実行中モデル更新時に改めてテストしづらい CIは実行中なのでしばらく待機します。 (sessionが終了してしまう) 14

PLaMo-3.0-Primeを使ってみる: 外部ロジックの利用外部ロジックを追加することで、この問題は回避できる while True: status = PLaMoで監視 if status
== “retry”: PLaMoによるretry continue if status == “ﬁnish”: break PR ABCのCIの状況を教えて tool call: CIの状態をチェック状態: 実行中 status: executing 15

PLaMo-3.0-Primeを使ってみる: 外部ロジックの利用外部ロジックを追加することで、この問題は回避できる while True: PR ABCのCIの状況を教えて status = PLaMoで監視
if status == “retry”: tool call: CIの状態をチェック PLaMoによるretry 外部ロジックによる支援 continue • == 外部ロジックで支援したことが具体的な改善点となる if status “ﬁnish”: 状態: 実行中 • 普段から使い続けてモデルの性能を継続的に確認できる break 課題: status: executing • モデル更新時に支援を外してテストしづらい 16

OpenAI API proxyによるuser code共通化 (1) 外部ロジックをOpenAI APIとして実装することで、使い方を共通化状態: 実行中 CIは実行中です
tool call: CIの状態をチェックするscript . . . 17

呼び出し側のコードは tool call: CIの状態をチェックするscript 普通のモデル呼び出しと同じ . . . 18

呼び出し側のコードは tool call: CIの状態をチェックするscript 普通のモデル呼び出しと同じ . . . proxyサーバは • 外部ロジックによる処理 • PLaMoの呼び出しを使い分けて行動する 19

OpenAI API proxyによるuser code共通化 (2) proxy内部の処理は以下のようになっている API requests (chat completion)
最初の呼び出し 20

最初の呼び出し監視/retryのために呼び出すtoolを決める 21

最初の呼び出し監視/retryのために呼び出すtoolを決める 22 tool callの要求

最初の呼び出し監視/retryのために呼び出すtoolを決める tool callの出力が返ってきた出力からCIの状態を判定 23 tool callの要求

最初の呼び出し監視/retryのために呼び出すtoolを決める tool callの出力が返ってきた実行中または retryが必要出力からCIの状態を判定 24 tool callの要求

最初の呼び出し監視/retryのために呼び出すtoolを決める tool callの出力が返ってきた tool callの要求実行中または retryが必要出力からCIの状態を判定 25 結果を出力

OpenAI API proxyによるuser code共通化 (3) 使い方が共通なため、様々な条件での調査が容易 1: 現在のPLaMoを使った実験・調査現在のPLaMoの課題を発見 26

OpenAI API proxyによるuser code共通化 (3) 使い方が共通なため、様々な条件での調査が容易 1: 現在のPLaMoを使った実験・調査現在のPLaMoの課題を発見 2:
proxyを導入した運用業務の効率化にPLaMoを利用 27

OpenAI API proxyによるuser code共通化 (3) 使い方が共通なため、様々な条件での調査が容易 1: 現在のPLaMoを使った実験・調査現在のPLaMoの課題を発見 2:
proxyを導入した運用業務の効率化にPLaMoを利用 3: 開発中の新しいPLaMoに置き換えモデルの性能改善を評価 28

PLaMoの開発での利用状況 (事前学習チーム) 導入タスク数 (proxyを介して): 5件 • Q&A slackbot • CIの監視
• etc. 利用token数 (6月) • Input: 554M token • Output: 32M token 29

まとめ: PLaMoを継続的にdogfoodingするために dogfooding • 自分たちの業務が効率化することは必須 • その上で、PLaMoが失敗する可能性のあるタスクに適用することが大事失敗する可能性のあるタスクへの適用 • 失敗する可能性のあるワークフローは日々の業務で使いづらい
• 外部ロジックの補助を入れることで、使い続けられるようになる ◦ 外部ロジックの存在がPLaMoの改善点を示す ◦ 外部ロジックをOpenAI APIとして扱うことで、モデル評価が容易に 30

PLaMoを毎日の開発で使い育てていく

PLaMoを毎日の開発で使い育てていく

Preferred Networks PRO

More Decks by Preferred Networks

Other Decks in Technology

Featured

Transcript