Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
Search
みのるん
PRO
March 04, 2025
Technology
11
1.8k
AI自体のOps 〜LLMアプリの運用、AWSサービスとOSSの使い分け〜
OpsJAWS Meetup33 AIOps
https://opsjaws.connpass.com/event/342300/
みのるん
PRO
March 04, 2025
Tweet
Share
More Decks by みのるん
See All by みのるん
やさしいMCP入門
minorun365
PRO
151
100k
マネコン操作いらず! TerraformでAWSインフラのコーディングに入門しよう
minorun365
PRO
6
2k
Qiita Organizationを導入したら、アウトプッターが爆増して会社がちょっと有名になった件
minorun365
PRO
2
620
AIエージェント入門
minorun365
PRO
46
24k
まだ間に合う! エンジニアのための生成AIアプリ開発入門 on AWS
minorun365
PRO
6
1k
AWSの生成AIサービス Amazon Bedrock入門!(2025年1月版)
minorun365
PRO
9
1.4k
Oracle Cloudの生成AIサービスって実際どこまで使えるの? エンジニア目線で試してみた
minorun365
PRO
7
500
密着! Bedrockerがre:Invent 2024で過ごした5日間を紹介
minorun365
PRO
5
670
re:Inventで発表された Bedrockの新機能を色々使って、マルチRAGエージェントにクラウド選定させてみた件
minorun365
PRO
4
650
Other Decks in Technology
See All in Technology
QA/SDETの現在と、これからの挑戦
imtnd
0
120
От ручной разметки к LLM: как мы создавали облако тегов в Lamoda. Анастасия Ангелова, Data Scientist, Lamoda Tech
lamodatech
0
700
CBになったのでEKSのこともっと知ってもらいたい!
daitak
1
160
Micro Frontends: Necessity, Implementation, and Challenges
rainerhahnekamp
2
490
技術者はかっこいいものだ!!~キルラキルから学んだエンジニアの生き方~
masakiokuda
2
260
アジャイル脅威モデリング#1(脅威モデリングナイト#8)
masakane55
3
190
より良い開発者体験を実現するために~開発初心者が感じた生成AIの可能性~
masakiokuda
0
120
開発視点でAWS Signerを考えてみよう!! ~コード署名のその先へ~
masakiokuda
3
160
Classmethod AI Talks(CATs) #21 司会進行スライド(2025.04.17) / classmethod-ai-talks-aka-cats_moderator-slides_vol21_2025-04-17
shinyaa31
0
570
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming
tomzoh
0
220
OSSコントリビュートをphp-srcメンテナの立場から語る / OSS Contribute
sakitakamachi
0
1.4k
IVRyにおけるNLP活用と NLP2025の関連論文紹介
keisukeosone
0
190
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.1k
How to train your dragon (web standard)
notwaldorf
90
6k
StorybookのUI Testing Handbookを読んだ
zakiyama
29
5.6k
Bash Introduction
62gerente
611
210k
Facilitating Awesome Meetings
lara
54
6.3k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
13
1.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
13
670
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
Building Applications with DynamoDB
mza
94
6.3k
The Cult of Friendly URLs
andyhume
78
6.3k
Transcript
公開情報 AI⾃体のOps 〜LLMアプリの運⽤、AWSサービスとOSSの使い分け〜 KDDIアジャイル開発センター株式会社 テックエバンジェリスト 御⽥ 稔(みのるん)
公開情報 1 KDDI Agile Development Center Corporation $ whoami 御⽥
稔(みのるん) @minorun365 テックエバンジェリスト KDDIアジャイル開発センター株式会社(KAG) クラウドや⽣成AIで内製開発を⾏いながら 技術の楽しさを広める活動をしています AWS Community Hero AWS Samurai 2023-2024 2024 Japan AWS Top Engineer 2024 Japan AWS All Certs Engineer Qiita 2024 Top Contributor
公開情報 2 KDDI Agile Development Center Corporation みなさん、 AIのOps してますか︖
公開情報 3 KDDI Agile Development Center Corporation 今してない⽅も、運⽤中のプロダクトに 今年は⽣成AI機能が⽣えるかもしれませんよ︖
公開情報 4 KDDI Agile Development Center Corporation 今⽇はLLMOpsの話をします • LLMOps
= Large Language Model Operationsの略 ◦ 雑に⾔うとDevOpsのLLMアプリ版 ◦ ⽣成AIアプリケーションの開発&運⽤サイクルをいい感じに回すための取り組みのこと (ツールやベストプラクティスなどをまとめてフワッと指すバズワード) ※似た⾔葉が多いので注意 ◦ MLOps, LLMOps︓ AI⾃体のOps ◦ AIOps︓ AI「で」⼀般的なアプリケーションのOpsを改善する取り組み 【参考】AIOps vs. MLOps vs. LLMOps(Weights & Biases社) https://wandb.ai/mostafaibrahim17/ml-articles/reports/AIOps-vs-MLOps-vs-LLMOps--Vmlldzo1MTQzODMz
公開情報 5 KDDI Agile Development Center Corporation なぜLLMOpsが必要か︖ • 開発中のデバッグが⾟い
• リリースしたけど、使われ⽅が把握しづらい • 出⼒品質にユーザーが満⾜しているのか分からない
公開情報 6 KDDI Agile Development Center Corporation Opsについて学ぶ前に、 ⽣成AIアプリのよくある実装をおさらい
公開情報 7 KDDI Agile Development Center Corporation LLMアプリケーションのよくある実装要素 • 推論(Inference)︓
単発のテキスト⽣成 • RAG(Retrieval-Augmented Generation)︓ 検索結果をコンテキストに含めて推論 • AIエージェント︓ ⾏動計画を推論したのち、ツールを⽤いて各タスクを実⾏ ➡ 特にAIエージェントは処理フローが複雑になりやすいので、 エラーが出たときどこの区間でミスが発⽣しているのか、可観測性がとても重要
公開情報 8 KDDI Agile Development Center Corporation LLMアプリの開発アプローチ • ローコード︓
Dify、Bedrockフローなど • マネージドサービス︓ Bedrockナレッジベース/エージェントなど • コーディング⽤ライブラリ/フレームワーク︓ ◦ AWS SDK(Bedrock Converse API、マネージドサービス呼び出し) ◦ LangChain(⼈気処理を抽象化、マルチプロバイダー対応) ◦ LlamaIndex(LangChainよりシェアは低いが、RAGに強みをもつ) ➡ 選んだ開発フレームワークによって、採⽤しやすいLLMOpsツールが変わる︕
公開情報 9 KDDI Agile Development Center Corporation LLMOpsって実際何やるの︖ その① 監視
公開情報 10 KDDI Agile Development Center Corporation LLMOps その①「監視」 監視が必要な主要項⽬
• メトリクス︓ リソースに関する特定の数値データ(例︓モデルの呼び出し回数) • ログ︓ システムコンポーネントの動作記録(例︓Python APIサーバーの実⾏ログ) • トレース︓ ⼀回のアプリケーション動作がたどる痕跡(例︓RAG処理のトレース)
公開情報 11 KDDI Agile Development Center Corporation AWSアカウント LLMOps その①「監視」
「LLM処理」と「普通のアプリ部分」で監視ツールを使い分けよう︕ その他の機能 クライアント フロントエンド バックエンド • LLM • RAG • エージェント この辺はLLM特有の 監視を適⽤
公開情報 12 KDDI Agile Development Center Corporation LLMOps その①「監視」 「LLM処理」部分の監視に使われる主なツール
• AWS CloudWatch︓ AWSネイティブの監視機能ファミリー ◦ メトリクス︓Bedrockのモデルに関するメトリクスを確認できる ◦ ログ︓Bedrockのモデル呼び出しログを記録できる(S3も選択可) • LangSmith︓ LLMアプリ特化の監視SaaS。LangChain社が提供する「先発品」 • Langfuse︓ LangSmithのオープンソース版といえる製品。 ⾃分のクラウド上にセルフホストがしやすい。SaaS版もあり ➡ LangSmith/Langfuseは、PythonアプリやLangChainアプリには計装しやすい。 (ローコードやマネージドサービスでは、詳細なトレースを取るのがかなり⼤変)
公開情報 13 KDDI Agile Development Center Corporation LLMOps その①「監視」 AWS
CloudWatch(メトリクス)
公開情報 14 KDDI Agile Development Center Corporation LLMOps その①「監視」 AWS
CloudWatch(ログ) BedrockのModel Invocation Loggingを 事前に有効化しておく 👇
公開情報 15 KDDI Agile Development Center Corporation LLMOps その①「監視」 LangSmith(トレース)
※画像はLangChain社 公式Xアカウントより ⼀連の処理がたどった イベントの⼀覧 選択した箇所の ⼊⼒と出⼒
公開情報 16 KDDI Agile Development Center Corporation LLMOps その①「監視」 Langfuse(トレース)
公開情報 17 KDDI Agile Development Center Corporation LLMOpsって実際何やるの︖ その② 評価
公開情報 18 KDDI Agile Development Center Corporation LLMOps その②「評価」 そもそも評価って何︖
⾃動 評価 ⼈⼒ 評価 (LLM-as-a-Judge) LLMアプリケーション 出⼒結果 • 正確性︓1.0 • ⽂脈回収︓ 0.65 • Good 👍 / Bad 👎 • 「xxx が⾜りない」 評価結果を 改善に活かす
公開情報 19 KDDI Agile Development Center Corporation LLMOps その②「評価」 評価エンジン
• Ragas︓ 有名なOSS。もともとRAG⽤だったが、最近エージェントにも対応 • OpenEvals/AgentEvals︓ 最近LangChainが発表したOSS 評価結果のGUI管理ツール(内蔵エンジンもあり) • LangSmith/Langfuse︓ 評価結果をトレースと紐づけるには必須 オフライン評価ツール(エンジン+簡易GUI) • Bedrock Evaluations︓ モデルもしくはナレッジベースをバッチ評価できる
公開情報 20 KDDI Agile Development Center Corporation LLMOps その②「評価」 Ragasの評価メトリクス(抜粋)
公開情報 21 KDDI Agile Development Center Corporation LLMOps その②「評価」 Ragas
使いたい評価メトリクスと、 その判定をするLLMを指定 LLMアプリへの⼊出⼒を設定して 評価メソッドを実⾏ 評価スコアが出⼒される(0〜1)
公開情報 22 KDDI Agile Development Center Corporation LLMOps その②「評価」 OpenEvals
AgentEvals
公開情報 23 KDDI Agile Development Center Corporation LLMOps その②「評価」 Langfuse(Evaluation
/ Score) 👈 評価メトリクスをGUIで作成可能 評価結果のスコアをトレースに記録できる (評価⾃体は他のツールを使ってもOK)
公開情報 24 KDDI Agile Development Center Corporation LLMOps その②「評価」 Bedrock
Evaluations 使いたいメトリクスを選択し、⼊⼒データをS3にJSONLで格納
公開情報 25 KDDI Agile Development Center Corporation LLMOpsって実際何やるの︖ その③ プロンプト管理
公開情報 26 KDDI Agile Development Center Corporation プロンプト テンプレート LLMOps
その③「プロンプト管理」 プロンプト管理とは︖ バージョン1 バージョン2 エンジニア が更新 プロダクトオーナー が更新 LLMアプリ チーム開発で、プロンプトの更新がデグれないように かつ更新履歴や差分がわかるように管理するための⼿法のこと
公開情報 27 KDDI Agile Development Center Corporation LLMOps その③「プロンプト管理」 プロンプト管理に使えるツール
• Bedrockプロンプト管理︓ AWSのマネージドサービス。マネコン&APIともに対応 • LangSmith/Langfuse︓ GUI & SDKでプロンプトの管理が可能 • テキストファイルでGit管理︓ 触るのがエンジニアだけなら全然アリ ➡ ようは、クソ⻑い⾃然⾔語のプロンプトがアプリのコードに混ざるとしんどいので まずは分けて管理できればOK︕
公開情報 28 KDDI Agile Development Center Corporation LLMOps その③「プロンプト管理」 Bedrock
プロンプト管理 👇 SDKからAPIでも呼び出し可能
公開情報 29 KDDI Agile Development Center Corporation LLMOps その③「プロンプト管理」 Langfuse
👇 こちらもSDKで呼び出し可能
公開情報 30 KDDI Agile Development Center Corporation 実際にLLMOpsツールを使ってみたい︕ どこから始めればいいの︖
公開情報 31 KDDI Agile Development Center Corporation まずはSaaS版を無料で使ってみよう︕ AWSアカウント クライアント
フロントエンド バックエンド LLM機能 通常の監視 Langfuse (SaaS版) トレースしたい 関数をデコる
公開情報 32 KDDI Agile Development Center Corporation ⼊⾨ハンズオンも公開しています︕
公開情報 33 KDDI Agile Development Center Corporation 業務で使うときは、セルフホスト版のIaCコードも公開されています Terraform版 AWS
CDK版
公開情報 34 KDDI Agile Development Center Corporation 最後に宣伝
公開情報 35 KDDI Agile Development Center Corporation 3/25(⽕) 夜にLangfuseのオフライン勉強会やります︕ ⼊⾨ハンズオン&LT⼤会︕
Chaspyさんや、同僚のつよつよLangfuser も出演予定
Be a Change Leader. アジャイルに⼒を与え 共に成⻑し続ける社会を創る