LLM Observability の権限整理の話/llmobs-permission

Transcript

1. © 2025 estie Inc. LLM Observability の 権限整理の話 株式会社estie 杉田毅博 (GitHub:sugitak, X:@sugitak06)
2. © 2025 estie Inc. LLM Observability の Agent Observability の 権限整理の話 株式会社estie 杉田毅博 (GitHub:sugitak, X:@sugitak06) LLM Observability は Agent Observability に Rename 中
3. © 2025 estie Inc. 最初におことわり： LLM Observability と Agent Observability こちらのトーク募集の頃は LLM Observability と呼ばれていたと思うの ですが、気づいたら名前が変わっていました • LLM Observability == Agent Observability • まだ `LLM Observability` `llm-observability` `llmobs` 等と なっている箇所が残っていますが、今後置き換えられていくと思われます • このプレゼン中では Agent Observability という用語に寄せます 2
4. © 2025 estie Inc. 杉田 毅博 github:sugitak, x:@sugitak06 • 2022~ 株式会社 estie 「1人目SRE」兼 EM • 2017~ 株式会社Preferred Networksコーポレートエンジニ ア。勝手にEmbedded SREも兼務 • 2015~ freee株式会社にてSREを名乗り始める。デプロイを 60分→7分に短縮・安定化。CSIRT立ち上げリーダー、セ キュリティ開発なども担当。自称デプロイ屋さんになる • 2011~ IIJ にて Ruby PaaS 開発。ユーザコードのデプロイ 部分を一人で担当。自称bundlerの専門家になる 講演等 2017-07 Schoo にて Prometheus 講師 2018-02 Software Design 誌にて9ページ記事執筆 2026-07 SRE Next 講演予定 New!
5. © 2025 estie Inc. Agent Observability とは？ 1 4 Agent Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
6. © 2025 estie Inc. Agent Observability とは？ 1 5 Agent Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
7. © 2025 estie Inc. Agent Observability とは…… AI Agent において数々の Observability を実現するもの 6 Traces Experiments Evaluations
8. © 2025 estie Inc. Agent Observability とは…… • Traces • Agent の推論・ツール実行・出力までの一連の流れを可視化 • Experiments o複数モデル・環境に同じ設定を投入する比較試験 • Evaluations o継続して実施できる単体テスト。現在の環境の評価 7
9. © 2025 estie Inc. 8 重要： Trace は入出力が表示される
10. © 2025 estie Inc. Agent Observability とは？ 1 9 Agent Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
11. © 2025 estie Inc. Confidential © 2022 estie Inc. Our purpose 産業の真価を、さらに拓く。
12. © 2025 estie Inc. Confidential © 2022 estie Inc.
13. © 2025 estie Inc. Confidential © 2022 estie Inc.
14. © 2025 estie Inc. Confidential © 2022 estie Inc.
15. © 2025 estie Inc. Confidential © 2022 estie Inc.
16. © 2025 estie Inc. 権限整理のジレンマ • セキュリティの要件 o LLM の入出力は機微な情報であり、閲覧を制限される必要がある • 品質管理の要件 o LLM 利用機能の品質管理責任を持つ開発者は、その入出力を確認できる必要がある => お題： 10以上のプロダクト（を持つ我々は、 Datadog Agent Observability 上でどのように権限整理すればいいのか？ 15
17. © 2025 estie Inc. Agent Observability とは？ 1 16 Agent Observability の権限 整理 2 Datadog 権限分離の手法 3 今回の選択 4
18. © 2025 estie Inc. Datadog 権限分離の手法 • サービスごとに権限付与 • Organization 分割 • Data Access Control 17
19. © 2025 estie Inc. サービスごとに権限付与（Role でコントロール） • 使わない人は LLM Observability （ここは旧名称）に権限を付与しなけ れば良い？ • 「使う」 or 「使わない」の二択しか 権限を作れない • Standard Role には default で付与 されている 18
20. © 2025 estie Inc. Organization 分割 • Organization を分割すると、概ねすべての権限を完全に分離できる • 情報隔壁として最強 • ただし、情報の共有が難しくなる o 操作対象を変えるたびに Organization 切替操作が必要。横断が難しくなる o 一部、 Metrics / Logs では共有が可能 19
21. © 2025 estie Inc. Data Access Control (DAC) • ラベルベースで権限を付与する機能 • DAC ではサービスxラベルで Dataset を作成し、その Dataset に対して Role ごとに Grant Access する RBAC 機能 • 権限ごとに Restricted Dataset を 作れば、ほしい制限が実現できる！ 20
22. © 2025 estie Inc. Agent Observability とは？ 1 21 Agent Observability の権限 整理 2 Datadog 権限管理の手法 3 今回の選択 4
23. © 2025 estie Inc. 今回の選択 DAC を採用！ • DAC はまさに今回ほしいもの • ただし Restricted Dataset について Standard Plan で 10, Enterprise で 100 までという制限あり o Enterprise では、 Strict Mode を有効化した場合は 1000 Rule Sets まで利用可 22
24. © 2025 estie Inc. We are hiring! 23 https://hrmos.co/pages/estie/jobs?category=17562936478271 65184