20251007: What happens when multi-agent systems become larger? (CyberAgent, Inc)

https://cyberagent.connpass.com/event/367576/

Transcript

1. Multi Agent System の ⼤規模化で起きたこと 2025-10-07 CyberAgent, Inc AI事業本部 AIローカライズセンター開発責任者 古川新
2. CyberAgentのAIローカライズ AIが漫画を理解してローカライズ ©海野螢, Manga109
3. 漫画を「理解」するAI 誰が何をしたのか、何を表現しているのか、⽂脈を正確に理解して翻訳することで⾼品質なローカライズを実現。 ©猪熊しのぶ, Manga109 - 「ワザと留年したって噂。」相沢の姉（和久井の噂を伝える）。 - 「⼀コ後輩に好きなコがいてー」相沢の姉（噂の中⾝を解説）。 - 「そのコと同級⽣になりたくてね。」相沢の姉（同上）。 このページは、和久井⿇美の留年という謎に対し「実は後輩の誰かへ の特別な想い‧動機があったのでは？」という可能性を読み⼿に強く ⽰唆する転換点である。姉の噂話と数字から「相沢⾃⾝がその対象な のでは」と⽰唆されるが、同時に信 憑性の不明さも残している。これ は登場⼈物と読者の両⽅に「真相は何か？」という興味を持たせ、後 の展開に期待を抱かせる重要なフックとなっている。 AI理解 単純な機械翻訳の場合 I had a girl I liked, and I wanted to be a classmate with him. 性別や⼈称の間違い ※実際の⽣成結果 話者 ⽂脈 意図 物語 ⼈物
4. MAS（Multi-Agent System） ベースの漫画理解AI 20以上のエージェントを組み合わせて、漫画を読解‧ローカライズ。 2024年の9⽉に開発スタート。
5. MASのカオス
6. カオス１： 予測可能性と安定性の低下 • 実⾏ごとにエージェントの振る舞いが変わる • 実⾏によっては思考が変わる • 前回は上⼿くできたことが次はできないことも • バグが起きた時に再現できない • 実⾏が予測できず、コストと品質をコンスタントに保てない ⾦を盗まれたから Aくんは 怒っています 表情的を⾒るに Aくんは 悲しんでいます 前回 今回 数学のように完全な正解が ないことも相まって 思考プロセスが違うと 結論も全然違う
7. カオス２： 拡張性と保守性の崩壊 • コンテキスト依存性 • エージェントは⼊⼒コンテキストによって性能が変わる • 状態を経由して連鎖的に次のエージェントの性能に影響 • エージェントを変更すると、違う場所で変化が起きる • 拡張性と保守性の崩壊 • ⼤規模化するほど、変更をうかつに加えられなくなった • エージェントが10を超えたあたりから拡張が⼀気に難しくなった Aは炭◯郎 Aは炭◯郎だから Bは禰󠄀◯⼦ Bは禰󠄀◯⼦だから ⼥らしく翻訳 Aはル◯ィ Aはル◯ィだから Bはシャ◯クス Bはシャ◯クス だから 男らしく翻訳 変更前 変更後 違うところで エラー顕現
8. カオス３： 開発効率の破綻 • ⼩さな変更でも30分のフル実⾏が必要 • エージェントの変更の影響が、後続のコンテキストに影響するため • どこまで影響が及ぶのか評価するために⼤規模な処理を再実⾏する必要があった • 当然、開発効率が低下し、なかなか⼿を加えられない要因に プロンプトに 指⽰を1⽂追加 30分かけて全体を再実⾏ 👺遅い
9. 解決策
10. アプローチの整理 • ⾃律型エージェント • エージェントが⾃律的にワークフローを計画 • 予測不能なオープンエンドな課題などに向いている • 数学オリンピックなど • 静的ワークフロー • 事前に定義されたワークフローを実⾏ • 予測可能で再現性を重視する場合に向いている • 定型作業の⾃動化など
11. 漫画理解の場合 • 漫画理解は予測不能な要素もあり、⾃律的な⾏動も必要 • わからないところを深掘りして読む、関連する前の話を調べるなど • 漫画理解では品質の再現性とコストの安定性も重要 • ある程度⼀定のコスト、時間で処理できることも重要 →⾃律型と静的ワークフローの両⽅の利点が享受したい
12. エージェンティック ワークフローエンジンの開発 • 昨年の時点でニーズにマッチするものがなかった • さまざまなアプローチを実験する意図もあり エージェンティックワークフローエンジンを内製 • 尚、この1年で多くのフレームワークが登場しており、 内製が最適という話ではない
13. 特徴１：宣⾔的コード化 • YAMLで宣⾔的に定義 • コードDAGを宣⾔的に定義 • 副作⽤の混⼊を防ぎ、 変更を⾏うと、⾃動で差分が計算できる • 再現性と予測可能性を改善 • 静的と動的のハイブリッド‧制約の導⼊ • 静的なDAGはもちろん、動的なフローを予測可能な形で導⼊ • 事前定義された制約内でのみ エージェントを動的に実⾏できるように • 無制限なエージェント間の相互作⽤を禁⽌することで ワークフローの予測可能性と保守性を改善 • 予測可能な定型的な作業をなるべく静的なワークフローに変換 • ⾃律的なエージェントを限定することで再現性を改善 • ⾃律的にやらせた時ある程度いつもやること、などは定型化した⽅が管理しやすい
14. 特徴２：カプセル化と単体テスト • I/Oスキーマをインターフェイスとして持つタスクとして エージェントを定義 • 状態は⼊出⼒を介してのみ伝搬することで内部状態を排除し、 責任分解点を明確化 • 外部エージェントの呼び出しをモック化する機能を作り、 単体でテスト可能なコンポーネントに • I/Oスキーマをインターフェイスとして定義‧検証可能にすることで エージェントの差し替えや⽐較実験を効率的に定義可能に • ⼊出⼒を介して起きるエージェントの相互作⽤はあるものの、 コンポーネントに分割して単体で開発できるようになり 変更を加えやすくなった
15. 特徴３：キャッシュによる⾼速化 • 積極的なキャッシュ戦略とインクリメンタル開発 • LLMの応答は本来冪等ではないが、エージェントを冪等と仮定することで 積極的にエージェントの⼊出⼒をキャッシュ • 宣⾔的なYAML定義によって変更を⾃動で判定することが可能で これによりグラフの再計算を最⼩にし、 インクリメンタルな開発を可能に • 変更を加えた場合、影響範囲のみが再計算されるようになり 30分かけて全て再実⾏する必要がなく差分実⾏は数秒〜数分まで短縮 • 変更が相互作⽤によって与える影響を効率的に評価‧分析することで 開発効率を⼤幅に改善
16. 独⾃エンジンのまとめ • 静的と動的なフローのハイブリッド化による予測可能性の改善 • スキーマの管理とカプセル化による保守性の改善 • 宣⾔的コード化による⾃動差分計算と効率的なインクリメンタル開発 ↓ 20を超えるエージェントからなる ⼤規模ワークフローを ⾼速で反復的に開発できるように
17. 次なる課題 • エージェント間作⽤の⾃動分析 • 外部状態との相互作⽤
18. 課題１：エージェント間作⽤の分析 • エージェントの影響の⾃動分析 • ⼊出⼒からある程度コンテキストの依存関係は⾃動で計算できるが、 それがどの程度の影響度なのかは変更後に影響範囲を再評価した結果から調査するし かない • ガードレールなどの防波堤はあるものの、この評価調査のコストはまだまだ⼤きい • インクリメンタルな開発の中で得られたデータから、変更前にどの程度の影響が⾒ 込まれるのかを予測したり、調査を⾃動化する仕組みが必要
19. 課題２：外部状態の副作⽤のモデル化 • DB書き込みなどの「副作⽤」を持つワークフロー • 特に漫画理解ではコンテキストに収まらない⻑期作品の理解に取り組む際に外部メ モリを導⼊しており、 外部状態がワークフローの再現性や予測可能性を悪化させる 問題に苦労している • DBをバージョン管理してワークフローからはバージョン付きで参照するなど、既存 のキャッシュ戦略の適⽤を試みているが、まだまだ課題が残る
20. まとめ • ⼤規模化に伴う複雑さと向き合う仕組みを意識すること • 要件に応じて柔軟性と再現性の最適なトレードオフを探すこと
21. 終わりに この知⾒が今後の技術選定に活⽤できれば幸いです 話しきれなかった他のテクニックや議論はぜひ懇親会で！ ご清聴ありがとうございました 漫画理解AIを開発しているAIローカライズセンターでは メンバーを募集しています お気軽にDMください！ X @_ornew