LLMOpsのこれまでとこれからを学ぶ

渋谷 Biz × AI: ビジネスにおける AI 利活用 事例勉強会 第4回の発表資料です。
- MLOps / LLMOps -https://sansan.connpass.com/event/380668/

Transcript

1. LLMOpsの これまでとこれからを学ぶ 渋谷 Biz × AI: ビジネスにおける AI 利活用事例勉強会 第4回 長江 五月
2. 長江 五月 ・indeed ソフトウェアエンジニア ・CyberAgent データサイエンティスト 広告配信アルゴリズムの開発・運用 MLOps新卒研修に講師として参加 自己紹介 2025年10月にMLOpsの本を出版しました
3. ・2023年のLLMOps ・2024 ~ 2025年の変化 ・2026年のLLMOps 本発表の目次
4. ・2023年のLLMOps プロンプトエンジニアリング、RAG、ファインチューニングが中心的課題 ・2024 ~ 2025年の変化 基盤モデル性能が向上、推論コストが低下 自律型エージェントの登場 LLMシステム評価の重要性が浸透 ・2026年のLLMOps LLMシステムは確率的に必ず失敗することに向き合う。 LLM周辺のソフトウェアエンジニアリングの実践でシステム信頼性を高める。 本発表のまとめ
5. ・2023年のLLMOps ・2024 ~ 2025年の変化 ・2026年のLLMOps 本発表の目次
6. 『LLMOps』という言葉が2023年に使われ始めた 『LLMOps』のGoogle Trends 2023年初頭
7. 2025年の話は後ほどします 『LLMOps』のGoogle Trends 2025年8月
8. 2023年前後のAI関連イベント振り返り 2022年11月30日 ChatGPTリリース 2023年2月24日 LLaMA-1リリース 2023年3月14日 Claude-1, GPT-4 リリース 2023年4月13日 AWS Bedrock発表
9. 2023年のLLMOps ・プロンプトエンジニアリング ・RAG ・ファインチューニング が中心的課題だった Understanding LLMOps: Large language model operations FMOps/LLMOps：生成系 AI の運用と MLOps との違い
10. 2023年のプロンプトエンジニアリング モデルの指示追従能力が、今と比較して低かった Revisiting the Reliability of Language Models in Instruction-Following. Figure1から引用
11. Prompt Engineering Guideから引用 2023年のプロンプトエンジニアリング 様々なプロンプトテクニックが登場
12. *1 LARGE LANGUAGE MODELS AS OPTIMIZERS *2 Apparently, ChatGPT gives you better responses if you (pretend) to tip it for its work. The bigger the tip, the better the service. *3 Large Language Models Understand and Can be Enhanced by Emotional Stimuli *4 26 prompt principles 2023年のプロンプトエンジニアリング 流行った「おまじない」テクニック ・深呼吸させる *1 ・チップを渡す *2 ・感情に訴える *3 ・脅迫する *4
13. 職業プロンプトエンジニアの需要増加 Anthropicがプロンプトエンジニアを$250K~350K(5400万円)で募集
14. RAGの必要性 モデルの入力コンテキスト長が、今と比較して短かった AIエンジニアリング. 図5-2より引用
15. RAGの必要性 入力コンテキストが長くなるほど、モデルが間違いやすくなる AIエンジニアリング. 図5-4より引用
16. RAGがなぜ課題だったか AIエンジニアリング. 図6-3より引用 RAGシステムを作るには、様々な技術課題に向き合う必要がある RAGシステムの要素
17. 余談: プロンプトに全て含めるか、RAGを使うか 20万トークン(約500ページの資料)より小さい場合は、 RAGを必要とせず、プロンプトにナレッジベース全体を含める。 ただし、ナレッジベースが今後増加しない場合に限る。 Anthropicの提案 Introducing Contextual Retrieval
18. ファインチューニングが必要な理由 ファインチューニングが必要な理由は、組織によって様々 ・コスト削減 ・セキュリティ規則で外部にデータを渡せない ・基盤モデルの性能が足りない
19. 2023年のファインチューニング A Survey of Techniques for Maximizing LLM Performance. OpenAI (2023) モデルの動作を最適化するのに、 ファインチューニングは有効な手段として位置付けられてた LLMアプリケーションの最適化の流れ
20. 2023年のファインチューニング 2023: The State of Generative AI in the Enterprise ファインチューニングが最適化手法として活用されていた 本番運用されているAIアプリケーションの最適化手法
21. 2023年のファインチューニング FMOps/LLMOps：生成系 AI の運用と MLOps との違い | Amazon Web Services 2023年9月8日公開 LLMOps：基盤モデルに基づくアプリケーション開発のワー クフロー｜Weights & Biases Japan 2023年7月13日公開 LLMOpsをLLMフルスクラッチ開発、ファインチューニング、モデルAPI活用の 3タイプに分類して考えられることが多い
22. 2023年のLLMOpsの記事はモデル開発寄りの話題が多い LLMOps（大規模言語モデル運用）とは、 大規模言語モデル（LLM）の管理と運用に関連する手法とプロセスを指します LLMOps には、次のような包括的な一連のアクティビティが含まれます。 ・モデルのデプロイとメンテナンス ・データ マネジメント ・モデルのトレーニングと微調整 ・モニタリングと評価 ・セキュリティとコンプライアンス LLMOps: What it is and how it works | Google Cloud
23. 2023年のLLMOpsまとめ ・プロンプトエンジニアリング ・RAG ・ファインチューニング が中心的課題だった
24. ・2023年のLLMOps ・2024 ~ 2025年の変化 ・2026年のLLMOps 本発表の目次
25. 推論コストの低下 The 2025 AI Index Report. Figure 1.3.22 同一性能のモデルの推論コストの時系列変化 GPT3.5相当と同等性能モデルの推論コストは1/100以下に減少
26. 基盤モデル学習にかかるコストが増加 The 2025 AI Index Report. Figure 1.3.26 Llama 3.1-405Bの学習に推定$170M(265億円)かかっている モデルの学習コストの時系列変化
27. 推論コストに対するモデル性能が向上 The cost of AI reasoning is going to drastically decrease. Fig 1 推論コストとモデル性能 同じ推論コストでより性能の良いモデルが利用可能になった
28. 職業プロンプトエンジニアの需要減少 ・LinkedIn プロンプトエンジニアの求人数が、2024年から2025年にかけて40%減少 The Hottest AI Job of 2023 Is Already Obsolete ・indeed 検索全体100万件に対するプロンプトエンジニアの検索数が、 2023年は144件だったのが、2025年は20件に減少 The Decline of Prompt Engineering and the Rise of Process Automation Skills 

29. モデル開発からモデルAPI活用に変化 2025: The State of Generative AI in the Enterprise 2024年と2025年の自社モデル運用、モデルAPI活用の比率 モデルAPIが安く、性能が良くなり、モデルAPI活用の割合が増加した
30. ファインチューニングを活用する組織が減少した 2025: The State of Generative AI in the Enterprise エンタープライズ企業とスタートアップの使用している最適化手法(2025年版) ファインチューニングは主要な最適化手法ではなくなり(※2023年は19%)、 コンテクストエンジニアリング、ツール呼び出しが増加
31. LLMOpsが2025年8月以降、注目が高まっている 『LLMOps』のGoogle Trends 2025年8月
32. 2025年8月以降のイベント 8月6日 Claude Opus 4.1 12月11日 GPT-5.2 8月7日 GPT-5 9月29日 Agent SDK 10月13日 Amazon Bedrock AgentCore 11月18日 Gemini 3.0 11月24日 Claude Opus 自律型エージェント能力を持つ モデルのリリース エージェント開発ツールの登場
33. AI AgentとLLMOpsが同時期に注目を集めた AI Agent LLMOps AI AgentとLLMOpsのGoogleトレンド
34. AI Agentの活用が広がり始めている 2025: The State of Generative AI in the Enterprise ワークフロー型が多数だが、エージェント型のユースケースが増えている エンタープライズ企業とスタートアップのワークフロー型・エージェント型 ユースケース比較(2025年版)
35. AI Agentの本番導入の最大の障壁は出力品質 State of Agent Engineering LangChainの2025年の調査によるとAI Agentを本番導入する場合の 最大の障壁は出力品質
36. LLMシステムの信頼性の担保が差別化要因 What 1,200 Production Deployments Reveal About LLMOps in 2025 『What 1,200 Production Deployments Reveal About LLMOps in 2025』 によると ・2025年に最も成熟した領域は、LLMシステムの本番運用における評価システムと ガードレールの進化 ・2025年に信頼性の高いLLMシステムを構築している組織は、LLMを検証し、制限 すべきカオスな構成要素として扱っている 評価の重要性が高まっている
37. 2024年~2025年の変化まとめ ・基盤モデル性能が向上、推論コストが低下 ・職業プロンプトエンジニアの衰退 ・モデル開発からモデルAPI活用に変化 ・自律型エージェントの登場 ・LLMシステム評価の重要性が浸透
38. ・2023年のLLMOps ・2024 ~ 2025年の変化 ・2026年のLLMOps 本発表の目次
39. 2026年のLLMシステム開発 LLMシステムは確率的に必ず失敗することに向き合う。 LLM周辺のソフトウェアエンジニアリングの実践で システム信頼性を高める。 参考: What 1,200 Production Deployments Reveal About LLMOps in 2025
40. LLMシステムの信頼性を高めるための要素 モデル API プロンプト入力 モデル出力 参考: AIエンジニアリング. 10章 AIエンジニアリングのアーキテクチャとユーザーフィードバック
41. コンテキストエンジニアリング コンテクスト エンジニアリング モデル API
42. 入力ガードレール コンテクスト エンジニアリング 入力 ガードレール モデル API
43. ツール管理 コンテクスト エンジニアリング ツール管理 入力 ガードレール モデル API
44. ワークフロー・エージェントオーケストレーション コンテクスト エンジニアリング ツール管理 入力 ガードレール ワークフロー・エージェント オーケストレーション
45. 評価 コンテクスト エンジニアリング 評価 ツール管理 入力 ガードレール ワークフロー・エージェント オーケストレーション
46. 出力ガードレール コンテクスト エンジニアリング 評価 ツール管理 入力 ガードレール 出力 ガードレール ワークフロー・エージェント オーケストレーション
47. フェイルオーバー コンテクスト エンジニアリング 評価 ツール管理 フェイルオーバー 入力 ガードレール 出力 ガードレール ワークフロー・エージェント オーケストレーション
48. 監視 コンテクスト エンジニアリング 評価 ツール管理 監視 フェイルオーバー 入力 ガードレール 出力 ガードレール ワークフロー・エージェント オーケストレーション
49. フィードバックループ コンテクスト エンジニアリング 評価 ツール管理 監視 フィードバックループ フェイルオーバー 入力 ガードレール 出力 ガードレール ワークフロー・エージェント オーケストレーション
50. LLMOpsワークフローの構成要素 ・コンテキストエンジニアリング ・入力、出力ガードレール ・ツール管理 ・ワークフロー、エージェントオーケストレーション ・評価 ・フェイルオーバー ・監視 ・フィードバックループ 参考: AIエンジニアリング. 10章 AIエンジニアリングのアーキテクチャとユーザーフィードバック
51. ・2023年のLLMOps プロンプトエンジニアリング、RAG、ファインチューニングが中心的課題 ・2024 ~ 2025年の変化 基盤モデル性能が向上、推論コストが低下 自律型エージェントの登場 LLMシステム評価の重要性が浸透 ・2026年のLLMOps LLMシステムは確率的に必ず失敗することに向き合う。 LLM周辺のソフトウェアエンジニアリングの実践でシステム信頼性を高める。 本発表のまとめ