AIエージェント開発、DevOps and LLMOps

.NETラボ 勉強会 2025年8月の登壇資料です。

https://dotnetlab.connpass.com/event/361507/

スライド内のリンク
DevSecOps ツール | Atlassian
https://www.atlassian.com/ja/devops/devops-tools/devsecops-tools

プラットフォーム エンジニアリングとは | Microsoft Learn
https://learn.microsoft.com/ja-jp/platform-engineering/what-is-platform-engineering

AI 駆動開発ライフサイクル:ソフトウェアエンジニアリングの再構築
https://aws.amazon.com/jp/blogs/news/ai-driven-development-life-cycle/

OWASP Top10におけるLLMのリスクを理解する
https://www.cloudflare.com/ja-jp/learning/ai/owasp-top-10-risks-for-llms/

what is llmops - google cloud
https://cloud.google.com/discover/what-is-llmops?hl=ja

セマンティックレイヤー：データ活用を加速する意味付けの仕組み | Databricks
https://www.databricks.com/jp/glossary/semantic-layer

LLMオブザーバビリティ
https://docs.datadoghq.com/ja/llm_observability/

AI関連
https://learn.microsoft.com/ja-jp/azure/ai-foundry/how-to/continuous-evaluation-agents

https://learn.microsoft.com/ja-jp/azure/machine-learning/prompt-flow/overview-what-is-prompt-flow?view=azureml-api-2

https://learn.microsoft.com/ja-jp/azure/ai-services/content-safety/overview

Transcript

1. 1 AIエージェント開発 DevOps and LLMOps .NETラボ 勉強会 2025年8月
2. 山田顕人（Kento.Yamada） @ymd65536 自己紹介 2 仕事：クラウドインテグレーション開発 ロール：マルチクラウドデベロッパー 活動：.NETラボ勉強会の運営、Azure AI Community運営 最近：Microsoft MVP ２年目になりました。 受賞歴 LAPRAS OUTPUT AWARD 2024 01 Google Cloud Partner Top Engineer 2025 DataAnalytics（2024年〜） Google Cloud Partner Tech Blog Challenge 2023 Cloud AI/ML 部門
3. 今日話すこと 要約：ソフトウェア開発ならDevOps（DevSecOps）が良いが、AIエージェントはLLMOpsも含む • DevOps（DevSecOps）とは • 補足：プラットフォームエンジニアリング • SDLC（Software Development Life Cycle）、他 ここから本題：AIエージェントの開発について • ソフトウェア開発者がAIエージェントを開発するとどうなるか • By the way：そもそも我々はAIエージェントを開発するべきだったのか • AIエージェントを開発して運用するには何が必要か • まとめ • 次回予告 3
4. DevOpsとはなんだったか 4 「DevがOpsしたらDevOps」という見解もあるが、それは本来のDevOpsのあり方とは異なる。 DevとOpsそれぞれで専門がいてそれらがコラボすること、それがDevOps Dev Ops 簡単にまとめると • 本来は2つに分かれていた「開発」と「運用」を１つにする概念 • DevとOpsで理解を共有してソフトウェアの信頼性を高める • SDLC（Software Development Lifcycle）の導入
5. 余談：NoOps 5 簡単にまとめると • 運用のすべてをクラウドにアウトソーシングすれば、フルタイムの運用はいらないという考え方 • 運用をゼロにすることは不可能なので実際は「運用作業を最小限にする」活動となる 例： Azure Functionsでサーバーレスにし、運用にまつわる作業を自動化する。 👉SREとしてトイル（労苦）を削減しながらサービスを運用していく
6. DevSecOpsなんてものもあるけど何が違う？ 6 簡単にまとめると • DevOpsにSecurityを入れ、初期段階で気づく（シフトレフト） • SDLC（Software Development Lifcycle）の過程にSecurityが加わる ◦ SSDLC（Secure Software Development Lifcycle） DevSecOpsには、SASTやDAST、SBOMも含まれるが説明は省略 ※DevOpsという文脈にはIaCというのもある。これも省略
7. 補足：DevSecOpsの図 7 引用：DevSecOps ツール | Atlassian https://www.atlassian.com/ja/devops/devops-tools/devsecops-tools
8. DevOps、Dev(Sec)Ops、NoOpsの関係（ざっくり） 8 ※NoOpsにプラットフォームエンジニアリングがあるかは議論は分かれそう DevSecOps DevOps NoOps プラットフォームエンジニアリング
9. 余談：プラットフォームエンジニアリング 9 簡単にまとめると • 「みんなで共通プラットフォームを構築して生産性を上げていこうぜ」という取 り組み 引用：プラットフォーム エンジニアリングとは | Microsoft Learn
10. Dev(Sec)OpsにSDLC(SSDLC)が出てきたけど何者？ 10 簡単にまとめると • ソフトウェア開発のライフサイクル • 企画/要件/開発/テスト/運用するというソフトウェア開発における一連のプロセス ※開発手法や組織、運用している組織によってプロセスは変わる。 あくまでもソフトウェアを作るプロセスである👈これが重要
11. 余談：AI-DLC(AI-Driven Development LifeCycle) 11 最近になってAWSが出した新しいソフトウェア開発ライフサイクル、簡単にまとめると • AI駆動開発ライフサイクル • 従来の人間主導でAIを後付けした開発ではなく、AIが開発を主導する • AIが実行し、人間が監視する 引用：AI 駆動開発ライフサイクル :ソフトウェアエンジニアリングの再構築 https://aws.amazon.com/jp/blogs/news/ai-driven-development-life-cycle/
12. DevOps開発者（開発者）がSDLCを元に AIエージェントを開発するとどうなるか 12
13. 開発者がAIエージェントを従来の方法で開発すると 13 結論を先に書きます。 どう逆立ちしても開発しただけで終わる未来しか見えない。 つまり、継続運用はどう頑張っても不可能に近い。 理由： ソフトウェア開発は知っているが、AIエージェント開発については知らない
14. ソフトウェア開発は知っているが AIエージェント開発については知らない 14 ソフトウェア開発の場合： どこの何に不具合が生じているかを調査、修正することで直る。 ※直したことによって他の部分に影響が出るなどの個別具体的な話は除く AIエージェント開発の場合： 何かおかしなところが出る。修正する。直ったり直らなかったり。 新しいLLMモデルが出る。下位/上位互換が保証されない。
15. ソフトウェア開発は知っているが AIエージェント開発については知らない 15 ソフトウェア開発の場合： バグを調査し、どこの何に不具合が生じているかを調査、修正することで直る。 ※直したことによって他の部分に影響が出るなどの個別具体的な話は除く AIエージェント開発の場合： 何かおかしなところが出る。修正をする。直ったり直らなかったり。 そもそもソフトウェア開発のアプローチを 　AIエージェント開発に適用してはいけない 同時にDev(Sec)Opsの概念も通用しない
16. そもそも我々はAIエージェントを開発するべきだったのか 結論：LLMを管理できないのであれば、AIエージェントを開発するべきではない ポイント • AIエージェントはソフトウェアではないため、開発プロセスが異なる • LLMOpsをやらないのであれば、長いものに巻かれろ ◦ Copilot、Geminiをマネージドサービスで使え 16
17. LLMOps（大規模言語モデル運用）とは 17 簡単にまとめると • 大規模言語モデル（LLM）の管理と運用に関連する手法とプロセス ポイント • 事前学習済みの大規模言語モデルをいかにして効率よく運用できるか それ以外にも重要な観点がある。（次のスライド） ※MicrosoftではこれをGenAIOpsとも呼んでいます。
18. AIエージェントを開発して運用するには何が必要か LLMOpsの概要 • モデルのデプロイとメンテナンス ◦ 例：パイプラインを構築して継続的にモデルをデプロイする • データマネジメント ◦ 例：AIが理解できるセマンティックレイヤーの構築 • モデルのトレーニングと微調整 ◦ 例：サンプルデータを用意してモデルを微調整 • モニタリングと評価 ◦ 例：LLMオブザーバビリティ • セキュリティとコンプライアンス ◦ 例：OWASP Top10におけるLLMのリスクを理解する 18
19. AIエージェントを開発して運用するには何が必要か LLMOpsの概要 • モデルのデプロイとメンテナンス ◦ 例：パイプラインを構築して継続的にモデルをデプロイする • データマネジメント ◦ 例：AIが理解できるセマンティックレイヤーの構築 • モデルのトレーニングと微調整 ◦ 例：サンプルデータを用意してモデルを微調整 • モニタリングと評価 ◦ 例：LLMオブザーバビリティ • セキュリティとコンプライアンス ◦ 例：OWASP Top10におけるLLMのリスクを理解する 19 ※いずれにしても難しいのでクラウドを使おう
20. 補足：セマンティックレイヤーとは 20 簡単にまとめると • データに対する説明、データモデルに理解がない人向けのインターフェイス 例：GoodsというカラムがDBに存在するが、ビジネスユーザーはSQLがわからない。 ビジネスユーザー含めGoodsが「商品名」を指すようにし、DBを意識させない ※AIに対しても同様
21. 補足：LLMオブザーバビリティ 21 簡単にまとめると • LLMアプリケーションを継続的にモニタリングしてトラブルシュートや評価を行う 主に以下のような情報をトレースする • トークン、エラー情報、レイテンシーを含む個々の LLM 推論 • LLM コールやツールコール、前処理ステップなどを含むあらかじめ定義されたワークフロー • LLM エージェントによって実行される動的な LLM ワークフロー
22. LLMOpsが加わると？ 22 DevSecOps DevOps NoOps LLMOps ※いずれにしても別の概念として考える必要がある プラットフォームエンジニアリング
23. では、Azureでどういう対応をしたら良いか • Azure Machine Learning プロンプト フロー ◦ モデルのデプロイとメンテナンス • Application Insights ◦ モデルのモニタリング • Azure AI Foundry ◦ セキュリティ、トレーニング、微調整、モデルの評価 • やり方はいろいろある。やるならFabric？Databricks？ ◦ データマネジメント • Azure AI Content Safety ◦ コンプライアンス 23
24. まとめ • アプリケーション開発の概念について振り返った ◦ DevOps/DevSecOps/SDLCなどが登場 ◦ AI-DLCというのも出てきて？ • LLMOpsは開発者には難しいのでサービスを使おう ◦ 別の話題：AIエージェントの開発は頑張らなくても良い • AIエージェントの開発にはLLMOpsが必要 ◦ 開発/運用そして評価が必要 24
25. 次 回 予 告 • .NETラボ 勉強会 2025年9月 ◦ https://dotnetlab.connpass.com/event/364907/ 25
26. おわり 26