Langfuseと歩む生成AI活用推進

Langfuse Night #3 -リアルユースケースとLangfuse -で登壇させていただいた際の資料です。

https://langfuse.connpass.com/event/362656/

Transcript

1. ©Mitsubishi Electric Corporation Laｎgfuseと歩む生成AI活用推進 三菱電機株式会社 AI戦略プロジェクトグループ 塚田真規 Langfuse Meetup #3 2025/8/19
2. ©Mitsubishi Electric Corporation 自己紹介 2 塚田 真規 Masaki Tsukada 三菱電機株式会社 デジタルイノベーション事業本部 AI戦略プロジェクトグループ • JAWS-UG AI/ML支部運営 • 2024/2025 Japan AWS All Certifications Engineers • AWS Community Builder 2025 (AI Engineering)
3. ©Mitsubishi Electric Corporation 三菱電機の事業部門とAI戦略プロジェクトグループ 3 全国に散らばる事業所 12の事業分野 ビ ル Factory Automation 公 共 エ ネ ル ギ ー 交 通 自 動 車 機 器 宇 宙 ・ 防 衛 通 信 半 導 体 ・ 電 子 デ バ イ ス 空 調 ・ 冷 熱 ホ ー ム エ レ ク ト ロ ニ ク ス IT ソ リ ュ ー シ ョ ン 生成AIの ノウハウ集約 生成AIの 利活用を推進 AI戦略プロジェクトグループ 生成AIに関する取り組みを主導 •PoC開発環境を三菱電機全体に提供し、生成AI利用を推進 •共通基盤提供し、アプリケーション開発を加速化 •業務改革/事業改革を伴走 を活用
4. ©Mitsubishi Electric Corporation 4 なぜLangfuseを選んだのか？ LLMアプリケーションの動作をグラフィカルに表示 SDKによるLLMアプリケーションへの統合容易性 トレースデータと評価結果を関連付けて管理可能 自社管理クラウドでのセルフホスト運用
5. ©Mitsubishi Electric Corporation LangfuseのLLMアプリケーション適用事例 5 Navvy ：類似設計書検索システム 戦略立案エージェント ：マルチエージェントシステム その他の事例
6. ©Mitsubishi Electric Corporation 6 Navvy × Langfuse 取り組んだ課題 ： 機能変更時の影響範囲の見積もり支援 「Navvy」：マルチモーダルLLMを活用した類似設計書検索システム 大量の設計書からの影響範囲見積もりは困難 ×影響範囲の見積もり精度が悪くなる ×見積もり作業の工数が大きくなる ×作業が属人化 機能設計書 ソフトウェアエンジニア 部品設計書 共通モジュールの変更で、 影響する機能やモジュールは？ 複数の製品に搭載される共通モジュールを変更するとき 既存製品に対して、「どのような影響がでるか」、「どのように対応するか」を 見積もる必要がある
7. ©Mitsubishi Electric Corporation 7 ソフトウェアエンジニア マルチモーダルLLM Navvy 変更したい設計書と変更要件 検索対象となる大量の設計書 候補となる設計書 大量の設計書を 確認する必要がない 候補となる設計書から 探せばよい Navvy × Langfuse 「Navvy」：マルチモーダルLLMを活用した類似設計書検索システム
8. ©Mitsubishi Electric Corporation Navvy × Langfuse 8 PDF形式 PNG形式 XML形式 マルチモーダル LLM LLM 設計書 要約テキスト <overview> この画像は、...の機能設計に関する図と説明文が記載されています。 ... </overview> <contents> <graph><title>...遷移フローチャート</title> 埋め込みモデル 埋め込みベクトル ベクトル データベース テキストデータ (ページ数分) 画像データ (ページ数分) 「Navvy」：マルチモーダルLLMを活用した類似設計書検索システム 処理過程をトレースし、 解析することで開発効率化を実現
9. ©Mitsubishi Electric Corporation Navvy × Langfuse 9 パラメータ変更 評価 (影響調査) デプロイ Navvy AWS Step Functions アプリケーション(Navvy) Amazon S3 テストデータセット AWS Lambda AWS Lambda AWS Lambda Amazon ECR データ読込 トレース 蓄積 2.実行 1.データ前処理 3.評価値計算 自動評価パイプライン トレース 取得 結果保存 評価・改善プロセスにも活用
10. ©Mitsubishi Electric Corporation 10 戦略立案エージェントとは？ 担当者 データサーバ 情報収集ツール SaaS 情報収集ツール 実行計画立案 エージェント 社内情報分析 ミクロ視点・主観視点 Web情報分析 マクロ視点・客観視点 分析結果統合 担当者 戦略提案 現時点での構築範囲 「技術トピックや業界動向に対して」 「社内データや社外のWeb情報をもとに」 Markdown形式やPowerPoint形式で レポートを作成するマルチエージェントシステム 戦略立案エージェント × Langfuse
11. ©Mitsubishi Electric Corporation 戦略立案エージェント × Langfuse 11 社内情報分析 ミクロ視点・主観視点 Amazon Cognito Amazon API Gateway Amazon OpenSearch Service Amazon Elastic Container Service （計画立案) Amazon DynamoDB Amazon Bedrock Amazon Simple Queue Service AWS Lambda (Backend for Frontend) Amazon Simple Queue Service Amazon ECS （調査/分析) Amazon Bedrock Amazon S3 (生成ファイル保存) 社内データ サーバ Amazon Bedrock AWS Lambda ユーザーが求める 社内データを検索 し、必要な情報を まとめる 実行計画立案 エージェント 課題解決に向けた 具体的な行動を 自律的に計画
12. ©Mitsubishi Electric Corporation 戦略立案エージェント × Langfuse 12 • 検索クエリは何だったか？ • どのようなサイトが検索されたか？ • サイトからどのような情報を得られたか？ • 情報の過不足をどのように判断したか 検索 情報解析 終了条件判定 AIエージェント 長時間かつ複雑なAIエージェントの中身を簡単に調査可能に！ 検索＆LLM推論を繰り返す
13. ©Mitsubishi Electric Corporation その他の取り組み 13 • 機能追加時のデバッグ • レイテンシ調査 • データ更新による影響調査 • パラメータ修正による影響調査 • 機能追加時のデバッグ • モデルの切り替え影響調査 社内チャットボット RAGテンプレート 他にも様々なAIエージェント開発に活用中
14. ©Mitsubishi Electric Corporation まとめ 14 1. 様々なLLMアプリケーションの開発にLangfuseを導入 2. 複雑な処理をトレースすることで、デバッグを効率化 3. 評価・改善に活用することで、開発サイクルを加速化