Datadog LLM Observabilityで実現する 安全なLLM Usage 管理

Japan Datadog User Group Meetup#17@沖縄 / 2026年5月28日の登壇資料です

Transcript

1. LLM Observabilityで実現する 安全なLLM Usage 管理 1 Japan Datadog User Group Meetup#17@沖縄 / 2026年5月28日 株式会社SIGQ 代表取締役 金築 敬晃
2. 2 会社概要 会社名 株式会社SIGQ（シグキュー） 所在地 〒305-0031 茨城県つくば市吾妻2-5-1 つくば市産業振興センター203号室 代表取締役CEO 金築 敬晃 設立 2024年8月20日 事業内容 インシデントマネジメントAI「Incident Lake」 意思決定支援・組織定着 認証 ISMS 27001 SOC 2 Type 1 保証報告書を受領済み (Incident Lake) Mission 信頼性を設計する SIGQは、インシデント対応の 支援を通じて、単なる運用を超 えた「信頼性の設計」を提供。 開発者が本質的な価値創造に集 中できる環境を実現し、企業の 成長と社会的意義の両立に貢 献。 株式会社SIGQ
3. 3 TOPICS プレシリーズAで総額1.53億円 の資金調達を実施 J-KISS型新株予約権と金融機関か らのデットを組み合わせ、 総額1億5,300万円を調達。 みずほキャピタル、SMBCベンチ ャーキャピタル、三菱UFJキャピ タルに加え、プレイド、マネーフ ォワード、PKSHA Technology等 の成長を牽引した個人投資家も参 画 。 調達資金の用途：Go-to-Market（GTM）戦略の本格始動 エンタープライズ組織の立ち上げ マーケティング投資の拡大 パートナーシップによる「運用のラストワンマイル」の資産化 株式会社SIGQ
4. 私：Webサービスのインシデント対応に詳しい 4 【経歴】 マネーフォワード→プレイド→SIGQ 一貫して全社横断のSRE / Incident Manager 【バックグラウンド】 筑波大学大学院修了（情報工学） 専門はデータベースと分散システム 【発表】 ・Datadog Summit Tokyo 2024 ・Fastly Yamagoya 2024 ・PagerDuty Summit 2023 etc... 株式会社SIGQ 株式会社SIGQ 代表取締役 金築 敬晃
5. 5 Incident Lakeとは何か 既存運用ツールはそのまま。その上に乗る意思決定支援レイヤー。 Incident Lake AI インシデント・インテリジェンス層 マネージャー / 意思決定者 既存ツール Slack / Microsoft Teams / Datadog / Jira / Notion / Google Drive / Share Point / OneDrive / Box... 即座に統合・要約 散在する情報を AI がリアルタイムで束ね、 「今何が起きているか」を全員が把握 過去事例から最適解 蓄積された自社の対応ログを基に、AI が次 の一手を提示 報告書まで自動生成 社内用レポート、当局報告ドラフト、ポス トモーテムを宛先毎に自動作成 1 2 3 株式会社SIGQ
6. Incident Lake で求めるLLM Observability 6 コストの急増を防ぐ コストそのものはLLM Provider側のBillingで見ている →急増を即座に検知し、状況把握・対応をしたい モデルごとの利用量トレンドを把握する Gemini, Opus etc...の各モデルを提供していて、ユーザーが自身で切 り替えられる →モデルごとの利用量トレンドを把握することで、使われていないモ デルの廃止や、新しいモデルの追加を行う 株式会社SIGQ
7. LLM Observability は便利だが、 気をつけないと危ない 7 そのまま普通に使うと、 プロンプトに含まれるデータがそのままDatadogに送られてしまう 問題点 センシティブなデータがDatadogに渡ってしまう Datadogの利用規約ではそもそもPIIを含むセンシティブなデータ を送るのを非推奨としている かつ、社内の情報統制的にも問題がある 株式会社SIGQ
8. LLM Observability でセンシティブな プロンプトが入るのを防ぐ方法① 8 方法①：そもそもプロンプトを 送らない（推奨） 「llm_observability span- processing」などで検索すると出 てくるが、以下のようなコードで そもそも送らないようにする const tracer = require('dd-trace'); const llmobs = tracer.llmobs; function maskProcessor(span) { for (const m of span.input || []) m.content = ""; for (const m of span.output || []) m.content = ""; return span; } llmobs.registerProcessor(maskProcessor); 株式会社SIGQ
9. LLM Observability でセンシティブな プロンプトが入るのを防ぐ方法② 9 方法②：Secret Scanningを使う 「プロンプトは送ってもいいが、 PIIは除きたい」というケース カバレッジ100%は無理だし、 対応漏れが起きるので、 ①の方がベター 株式会社SIGQ
10. 茨城県つくば市吾妻2-5-1 つくば市産業振興センター203 号室 company.sigq.io See you in NY 株式会社SIGQ 10 株式会社SIGQ