生成AIを活用した組み込みSW設計書検索システム開発

AWS Japanさん主催の「IoT@Loft - 関西発 IoT×生成AI が描く新たな未来」で登壇発表した資料です。

日時：2025年5月15日（木）19:00～21:00
会場：アマゾン ジャパン 合同会社 大阪オフィス 26F
主催：アマゾン ウェブ サービス ジャパン合同会社

https://aws.amazon.com/startups/events/iot-at-loft26

Transcript

1. ©Mitsubishi Electric Corporation 生 成 A I を 活 用 し た 組 み 込 み S W 設 計 書 検 索 シ ス テ ム 開 発 A I 戦 略 プ ロ ジ ェ ク ト グ ル ー プ 塚 田 真 規 2 0 2 5 年 5 月 1 5 日 （ 木 ） 1
2. ©Mitsubishi Electric Corporation 自 己 紹 介 2 • 名前： • 塚田 真規 (つかだ まさき) • 所属： • 三菱電機株式会社 デジタルイノベーション事業本部 AI戦略プロジェクトグループ • 2024 Japan AWS All Certifications Engineers • AWS Community Builder 2025
3. ©Mitsubishi Electric Corporation 全国に散らばる事業所 三 菱 電 機 の 事 業 部 門 と A I 戦 略 プ ロ ジ ェ ク ト グ ル ー プ 3 12の事業分野 ビ ル Factory Automation 公 共 エ ネ ル ギ ー 交 通 自 動 車 機 器 宇 宙 ・ 防 衛 通 信 半 導 体 ・ 電 子 デ バ イ ス 空 調 ・ 冷 熱 ホ ー ム エ レ ク ト ロ ニ ク ス IT ソ リ ュ ー シ ョ ン 生成AIの ノウハウ集約 生成AIの 利活用を推進 AI戦略プロジェクトグループ 1921年設立 従業員数：約36,520人 (グループ全体：約149,130人) 生成AIに関する取り組みを主導 •PoC開発環境を三菱電機全体に提供し、生成AI利用を推進 •共通基盤提供し、アプリケーション開発を加速化 •集約したノウハウや最新技術調査を三菱電機全体へ発信
4. ©Mitsubishi Electric Corporation 開 発 の 背 景 4 三菱電機ではルームエアコン、パッケージエアコンなど幅広く展開 パッケージエアコン ルームエアコン 開発効率化のためにソフトウェアモジュールを共通部品として管理し、複数機種で流用 ソフトウェアモジュール群 モジュールA モジュールB モジュールC モジュールD … エアコン機種X エアコン機種Y エアコン機種Z モジュールA モジュールA モジュールD モジュールD モジュールB モジュールψ モジュールC モジュールχ モジュールω モジュールを複数機種で共有し、開発工数を削減
5. ©Mitsubishi Electric Corporation 開 発 の 背 景 5 共通モジュール モジュールA 機種X 機種Y 機種Z モジュールA モジュールC モジュールχ 機種Xの既存機能を変更して、 新規機種を開発するぞ！ • 共通モジュール変更に伴う影響範囲の見積もり ソフトウェアエンジニア ソフトウェアエンジニア 変更要件 設計書 機能設計書 部品設計書 多くの機種、設計書からの影響範囲見積もりは困難 ×影響範囲の見積もり精度が悪くなる ×見積もり作業の工数が大きくなる ×作業が属人化する 共通モジュール変更による影響は？ 機種Yや機種Zは大丈夫？ よし、モジュールAを変更しよう！
6. ©Mitsubishi Electric Corporation 生 成 A I 活 用 に よ る 設 計 書 の 読 み 取 り ・ 検 索 • 検索システム導入による課題の解決 ソフトウェアエンジニア 検索システム 影響範囲 変更要件 制御設計書 機能設計書 部品設計書 • IoT機器の設計書に対する課題 図表などの情報が多く、従来のテキストベースの 検索システムでは、必要な情報を検索できない 課題 生成AI(マルチモーダルモデル)を活用し、画像とテキストの 情報に基づいた設計書検索システム「Navvy」を構築 6 候補を絞り込む
7. ©Mitsubishi Electric Corporation AWS Cloud 「 N a v v y 」 ア ー キ テ ク チ ャ 構 成 7 Amazon Bedrock (Embedding) AWS Lambda Amazon SQS API Gateway Amazon OpenSearch Service AWS Lambda Amazon Bedrock (Multimodal) Amazon Bedrock (LLM) AWS Lambda Amazon S3 Amazon DynamoDB User 設計書 ベクトルDB構築 AWS CodeBuild AWS CodePipeline AWS CodeCommit Amazon CloudFront Amazon ECS AWS Lambda Amazon S3 AWS WAF Amazon Cognito Amazon S3 Amazon S3 User 設計書
8. ©Mitsubishi Electric Corporation 「 N a v v y 」 開 発 取 り 組 み ポ イ ン ト 8 スクラムによる エンドユーザー目線の開発 生成AIを活かした アプリケーション開発 ユーザーと密に連携した インクリメンタル開発 自走可能な開発チームの確立 継続改善を実現するLLMOps マルチモーダルモデルによる 図表の解析
9. ©Mitsubishi Electric Corporation AWS Professional Services Team 開発チーム スクラムマスター ス ク ラ ム 体 制 に よ る 開 発 9 AWS初学者を含むスクラムチームを構築 三菱電機 開発チーム プロダクト オーナー エンドユーザ AWS初学者 ユーザと密に連携したインクリメンタルな開発 開発チーム エンドユーザ 複数回に渡るユーザストーリインタビュー デモ実施によるフィードバック&ニーズ探索
10. ©Mitsubishi Electric Corporation ス ク ラ ム 体 制 に よ る 開 発 10 自走可能な開発チームの確立 モブプロによるスキルトランスファー 初学者がドライバとなり、 理解を深めながら開発 スプリントごとに開発チームで問題点を明確にし、 改善活動を次スクリプトで実施 KPTによる開発チームの継続改善 「Keep」 継続すべき点 「Problem」 改善すべき問題点 「Try」 実施する改善策 ドライバ 実際にコード実装する ※別プロジェクトの立ち上げの参考にも！
11. ©Mitsubishi Electric Corporation 11 マルチモーダルモデル 複数種類の情報(テキスト, 画像, …)を活用する生成AIモデル マ ル チ モ ー ダ ル モ デ ル の 活 用 マルチモーダル モデル 大規模言語モデル （LLM) テキスト 動画 音声 テキスト 画像 テキスト 動画 音声 画像 • 画像や音声、動画データを同時処理して、 より多くの情報を取り込める ※テキストでは表現できない視覚、聴覚情報 を扱うことができる
12. ©Mitsubishi Electric Corporation 12 マルチモーダルモデル 複数種類の情報(テキスト, 画像, …)を活用する生成AIモデル IoTシステム設計書に含まれる複雑な図表から、 より多くの情報を抽出するために活用 マ ル チ モ ー ダ ル モ デ ル の 活 用 マルチモーダル モデル テキスト 画像 テキスト
13. ©Mitsubishi Electric Corporation 13 マ ル チ モ ー ダ ル モ デ ル の 活 用 マルチモーダル モデル 設計書 画像データ (ページ数分) テキストデータ (ページ数分) 大規模言語モデル 要約テキスト • 設計書検索システム「Navvy」でのマルチモーダルモデルの活用 検索クエリとして活用 PDF形式 PNG形式 <overview> この画像は、...の機能設計に関する図と説明文が記載されています。 ... </overview> <contents> <graph><title>...遷移フローチャート</title> <description>このフローチャートは、...</description> </graph> <table1> <title>本機能で実現している部品一覧</title> <description> この表は本機能で使用される部品IDを列挙しています。 列名:部品仕様, 部品ID … </description> </table1> <text> <title>必要部品</title> <description>...</description> </text> <keywords>LEV制御, …</keywords> </contents> XML形式
14. ©Mitsubishi Electric Corporation 14 マ ル チ モ ー ダ ル モ デ ル の 活 用 • エンドユーザに対するテストを実施 「Navvy」開発で見つかった課題と取り組み中の改善を紹介 ①図表情報の抽出性能向上に向けたプロンプト改善 ②テキスト集約における情報の欠落 ユーザの期待を満たす性能とは言えない結果に… 評価基準 5 : 期待する文書が上位に複数見つかった 4 : 期待する文書が上位に含まれていた 3 : 期待する文書が中位に含まれていた 2 : 期待する文書が下位に含まれていた 1 : 期待文書が見つからなかった
15. ©Mitsubishi Electric Corporation ① 図 表 情 報 の 抽 出 性 能 向 上 に 向 け た プ ロ ン プ ト 改 善 • 主な要素と動作の流れ： 1. XXXの制御： 1. 左側の赤い点線から右側の赤い点線までの1分間「有効」状態を維持 2. この期間はXXX操作の制御が実行されている 2. モニタツール： 1. 最初は「無効」状態 2. 途中から「有効」状態に切り替わり、その状態が継続 3. 圧縮機周波数： 1. 「XXX」と表示されている部分から「XXXX」に変化 2. モニタツールが有効になったタイミングで周波数が変更されている 4. モニタ指令値： 1. モニタツールが有効になった後に現れ、XXXまで続く 15 ～図表以外の情報～ - 図2と図3で…. - XXXXの制御が変更されている ～図表以外の情報～ マルチモーダル モデル • 課題：テキストから抽出される情報が多く、図表の情報が少ない • 解決方針：プロンプトを改善し、図表からも詳細を読み取るように指示 マルチモーダル モデル チャート/図 チャート/図 テキスト 図を含む設計書 図2 図3 プロンプトの改善 図に関する情報が少ない 図の詳細情報を 抽出できることを確認
16. ©Mitsubishi Electric Corporation ② テ キ ス ト 集 約 に お け る 情 報 の 欠 落 16 設計書(ページ数分) 大規模言語モデル … データ ベース • 課題：データを集約した検索クエリを作成する際に情報が落ちてしまう • 解決方針：複数の検索クエリを用いて検索し、その結果を集約する 複数ページの情報を1つの検索クエリにする際に 特徴的な情報が失われてしまう 複数の検索クエリの結果を集約して、 最終的な検索結果を作成する 検索 設計書(ページ数分) 大規模言語モデル … データ ベース 検索クエリ(ページ数分) … 検索＆集約 検索結果 検索結果 集約 検索クエリ 改善前のテスト結果 改善案のテスト結果 Recall 0.393 0.500 ユーザが求める設計書が検索結果に どれだけ含まれていたか？ 性能向上の傾向
17. ©Mitsubishi Electric Corporation 17 生成AIアプリ開発向け エンジニアリングツールの導入 改善サイクルの基盤の確立 継 続 改 善 を 実 現 す る L L M O p s 実験実行 ログ取得 評価 性能改善 データセット拡充 生成AI開発での課題を抽出し、継続的改善を実現する仕組みづくり トレース管理 ～入出力ログ/コスト/レイテンシの可視化～ プロンプト管理 評価 (LLM as a Judge) データセット管理 評価結果/ フィードバック管理
18. ©Mitsubishi Electric Corporation 継 続 改 善 を 実 現 す る L L M O p s 18 ※システムのトレースです
19. ©Mitsubishi Electric Corporation 19 AWSサービスを活用した自動評価基盤の構築 改善サイクルの基盤の確立 AWS Step Functions アプリケーション Amazon S3 テストデータセット AWS Lambda AWS Lambda AWS Lambda Amazon ECR データ読込 結果書込 2.実行 1.データ前処理 3.評価値計算 継 続 改 善 を 実 現 す る L L M O p s 実験実行 ログ取得 評価 性能改善 データセット 拡充 パイプラインによる自動評価 生成AI開発での課題を抽出し、継続的改善を実現する仕組みづくり
20. ©Mitsubishi Electric Corporation ま と め • 組み込みSW設計書の検索を効率化に向けたサービスを開発 • エンドユーザを巻き込んだスクラム体制 • モブプロ、KPTによる自走可能な開発チームへの成長 • マルチモーダルモデルを活用して複雑な図表から、設計情報を抽出 • 継続改善を実現するためのLLMOps基盤の活用 • 今後の取り組み • 更なる改善案を取り込んだ、ユーザー価値の向上 • ノウハウ、開発アセットの他プロジェクトへの展開 20