外接に惑わされない自システムの処理時間SLIをOpenTelemetryで実現した話

本資料は2025/10/27に開催されたObservability Conference Tokyo 2025の登壇資料となります。

【資料内のリンク】
まかせいのうHP：https://www.nttdata.com/jp/ja/lineup/macaseinou/
Omni Payment Gateway HP：https://www.nttdata.com/jp/ja/lineup/omni-payment-gateway/

【セッション概要】
最近SLIやSLOが重要であるという話はよく聞きますよね、気になっている・すでに導入してみたという方も少なくないと思います。でもそのSLI/SLO、本当に誰かの役に立っていますか？
私たちのシステムではAPIのレスポンスタイムに関するSLIがとりあえず設定されていたものの「外接処理時間が含まれている」「同じAPI中の処理分岐を混同してしまっている」といった理由から、誰も見なければ意思決定にも使っていないという状態でした。

この発表では、活用方法を意識したSLIの設計やそれを実現するためにOpenTelemetryの機能をどう使ったのかについてお話ししていきます。
SLIに興味があるけどどう設計するのがいいのかよくわからない...というエンジニア・マネージャーや、すでにSLIがあるけど効果を実感できていないSRE、OpenTelemetryにもっと詳しい方など幅広い方が明日から使えるような内容となっています。

Transcript

1. © 2025 NTT DATA Group Corporation 2025/10/27 Observability Conference Tokyo 2025 外接に惑わされない自システムの処理時間SLIを OpenTelemetryで実現した話 株式会社NTTデータグループ 技術革新統括本部 新 浩太朗
2. © 2025 NTT DATA Group Corporation 2 アジェンダ 1. はじめに 2. 本事例の課題意識 3. SLI設計の見直し 4. SLI実現への技術的チャレンジ 5. OpenTelemetry活用によるチャレンジ克服 6. 組織はどう変わったか？
3. © 2025 NTT DATA Group Corporation 3 アジェンダ 1. はじめに 2. 本事例の課題意識 3. SLI設計の見直し 4. SLI実現への技術的チャレンジ 5. OpenTelemetry活用によるチャレンジ克服 6. 組織はどう変わったか？
4. © 2025 NTT DATA Group Corporation 4 自己紹介 プロフィール SREエンジニア @ 株式会社NTTデータグループ 趣味 • ラーメン巡り • 宅鯖 • 週末プログラミング 好きな技術領域 • コンテナ・Kubernetes • （もちろん）Observability Observabilityとの関わり • きっかけはSREとして性能調査をする中で必要性を痛感したこと • PJ内でO11yの拡充をしたりO11yエンジニアとして参画中 • 宅鯖にOtelパイプラインを導入中…！ Kotaro7750 @Kotaro7750 個人ブログ Linked icons created by Smashicons - Flaticon 新 浩太朗 Kotaro Arata
5. © 2025 NTT DATA Group Corporation 5 会社紹介 自分の立ち位置 「NTTデータ」社内技術支援組織において 性能を中心とした非機能を横断的に支援する部隊に所属 その名も… まかせいのう 気になる方はご気軽にお問い合わせください 公式サイトより引用 技術支援を実施
6. © 2025 NTT DATA Group Corporation 6 Omni Payment Gateway®について 消費者 Omni Payment Gateway ①決済中継 ②決済代行機能 チャージバック業務 精算/入金 包括契約 加盟店審査 ③デジタルオペレーション 管理画面／ダッシュボード web申込 加盟店 多様な決済手段・ チャネルへの柔軟な対応 加盟店（管理業務） • 取引/精算情報管理 • 取引データ集計/傾向分析 • 不正関連業務 • 券種追加等手続き オンライン決済 対面決済 クレジット決済 コード決済 コンビニ決済 電子マネー決済 ペイジー決済 後払い決済 ・・・ カード会社 銀行 QR事業者 Web API 端末 CX EX チャネルを意識しない シームレスな購買体験 業務の煩雑さを解消したス トレスフリーな従業員体験 双方の価値を高める AP P あらゆる決済シーン/ 業務にご利用いただけるチャネル統合型PSP サービス「Omni Payment Gateway」により 店舗・EC双方の顧客体験、従業員体験を向上、お客様事業の成長を支援しています。 お問い合わせはこちら
7. © 2025 NTT DATA Group Corporation 7 システムアーキテクチャ Google Cloudを中心としたマルチクラウドにおけるKubernetesベースのマイクロサービスアーキテクチャ
8. © 2025 NTT DATA Group Corporation 8 Observabilityアーキテクチャ パブリッククラウドのObservability製品とOSSを組み合わせて利用 OSSを積極的に採用していた歴史的経緯により メトリクスのみOSSを利用
9. © 2025 NTT DATA Group Corporation 9 SLI・SLOについて サービスレベル（サービス品質の尺度）を具体的に運用するための2つの概念 オブザーバビリティ・エンジニアリング SRE サイトリライアビリティエンジニアリング Goal icons created by Freepik - Flaticon Performance icons created by IYIKON - Flaticon
10. © 2025 NTT DATA Group Corporation 10 アジェンダ 1. はじめに 2. 本事例の課題意識 3. SLI設計の見直し 4. SLI実現への技術的チャレンジ 5. OpenTelemetry活用によるチャレンジ克服 6. 組織はどう変わったか？
11. © 2025 NTT DATA Group Corporation 11 既存のSLI 決済APIのSLIとして最もクライアントに近い部分でゴールデンメトリクスを取得していた 決済APIでのSLI • リクエストレート • レスポンスタイム • エラー率
12. © 2025 NTT DATA Group Corporation 12 ふむふむ、教科書的なSLIは出ているのか… 性能のプロを謳うからには本番環境での実績値を見てみよう！ 着任時の私
13. © 2025 NTT DATA Group Corporation 13 あれ、このSLIでは何もわからないぞ… しかも誰も見ていないようだ… 5分後の私
14. © 2025 NTT DATA Group Corporation 14 課題意識1 APIの処理分岐 利用者に統一したUXを提供するためにリクエストによって内部のロジックが大きく変わるAPI設計
15. © 2025 NTT DATA Group Corporation 15 課題意識1 APIの処理分岐 個々の処理ロジックの違いを無視したメトリクスとなっていたことで 個別機能の品質の判断に役立てられないSLIとなっていた Timer icons created by Freepik - Flaticon ※数値はあくまでも例であり本システムの実際の性能を表して いるわけではありません
16. © 2025 NTT DATA Group Corporation 16 課題意識2 外接品質の揺らぎ 品質に大きな影響を及ぼす外接システムは同じ決済手段内でも種類があり、品質にも揺らぎがある
17. © 2025 NTT DATA Group Corporation 17 課題意識2 外接品質の揺らぎ 品質に大きな影響を及ぼす外接システムは同じ決済手段内でも種類があり、品質にも揺らぎがある Timer icons created by Freepik - Flaticon ※数値はあくまでも例であり本システムの実際の性能を表して いるわけではありません
18. © 2025 NTT DATA Group Corporation 18 課題意識2 外接品質の揺らぎ ゆらぎのある外接の情報を含んでおり自システムの品質を判断できないSLIとなっていた Timer icons created by Freepik - Flaticon ※数値はあくまでも例であり本システムの実際の性能を表して いるわけではありません
19. © 2025 NTT DATA Group Corporation 19 課題意識のまとめ 見る人がどのような判断に使うのかを無視したSLIとなっていたため役に立たず誰にも見られなかった Cause icons created by Uniconlabs - Flaticon
20. © 2025 NTT DATA Group Corporation 20 アジェンダ 1. はじめに 2. 本事例の課題意識 3. SLI設計の見直し 4. SLI実現への技術的チャレンジ 5. OpenTelemetry活用によるチャレンジ克服 6. 組織はどう変わったか？
21. © 2025 NTT DATA Group Corporation 21 SLI設計見直しのゴール エンジニアからマネージャーまで全員が 「このシステムの品質はどのくらいか？」を 同じ言葉で確認でき意思決定に繋げられる指標 Goal icons created by Freepik - Flaticon
22. © 2025 NTT DATA Group Corporation 22 見直しの方針1 適切なグルーピングで集計する ラベリングを行い異なるロジックを識別できるようなグルーピングを行う Close icons created by Pixel perfect - Flaticon ※数値はあくまでも例であり本システムの実際の性能を表して いるわけではありません
23. © 2025 NTT DATA Group Corporation 23 見直しの方針2 純粋な自システム部分のみを集計する 外接を除いた純粋な自システム部分のみを集計できるようにする Close icons created by Pixel perfect - Flaticon ※数値はあくまでも例であり本システムの実際の性能を表して いるわけではありません
24. © 2025 NTT DATA Group Corporation 24 見直しでどう変わる？ Cause icons created by Uniconlabs - Flaticon
25. © 2025 NTT DATA Group Corporation 25 見直しでどう変わる？ 今度こそ見た人がアクションの判断を取れるようなSLIを実現できる！ Cause icons created by Uniconlabs - Flaticon Solution icons created by Bartama Graphic - Flaticon
26. © 2025 NTT DATA Group Corporation 26 アジェンダ 1. はじめに 2. 本事例の課題意識 3. SLI設計の見直し 4. SLI実現への技術的チャレンジ 5. OpenTelemetry活用によるチャレンジ克服 6. 組織はどう変わったか？
27. © 2025 NTT DATA Group Corporation 27 SLI実装における技術的なチャレンジ カスタムメトリクス実装すればできそうと思っていたけど そこまで簡単な問題ではないぞ…？ 検討中の私
28. © 2025 NTT DATA Group Corporation 28 SLI実装における技術的なチャレンジ SLIを収集したいコンポーネントとSLIに必要な情報が分かるコンポーネントが異なる
29. © 2025 NTT DATA Group Corporation 29 SLI実装における技術的なチャレンジ SLIを収集したいコンポーネントとSLIに必要な情報が分かるコンポーネントが異なる
30. © 2025 NTT DATA Group Corporation 30 SLI実装における技術的なチャレンジ SLIを収集したいコンポーネントとSLIに必要な情報が分かるコンポーネントが異なる
31. © 2025 NTT DATA Group Corporation 31 SLI実装における技術的なチャレンジ コンポーネントの間で情報を統合・伝達できるような仕組みがあればよさそうに見える 伝搬じゃない方法はないの？と思った方はAppendixへ
32. © 2025 NTT DATA Group Corporation 32 アジェンダ 1. はじめに 2. 本事例の課題意識 3. SLI設計の見直し 4. SLI実現への技術的チャレンジ 5. OpenTelemetry活用によるチャレンジ克服 6. 組織はどう変わったか？
33. © 2025 NTT DATA Group Corporation 33 OpenTelemetryとは？ オープンソース・ベンダー非依存なObservabilityフレームワーク・仕様 OpenTelemetryに準拠していればツール・言語を問わずObservabilityを拡充できる
34. © 2025 NTT DATA Group Corporation 34 Baggage OpenTelemetryに準拠したサービス間でメタデータのやり取りを行うための機能 Baggageによって伝搬されたメタデータを付与する事でシグナルの情報量を高められる Luggage icons created by Freepik - Flaticon
35. © 2025 NTT DATA Group Corporation 35 Baggageによる伝搬の実装 gRPCのinterceptor（通信処理の前後に実行されるフック）でmetadataを利用したBaggageの伝搬を行う Luggage icons created by Freepik - Flaticon ※簡単のため、Interceptor用関数のシグネチャなど一部正 確でない表現をしています 実際のサーバーハンドラの内部でBaggageに値をセットできなくない？ と思った方はAppendixへ
36. © 2025 NTT DATA Group Corporation 36 コンポーネント間の情報伝搬 各コンポーネントでBaggageによる伝搬を行うことでSLI実装に必要な情報を伝搬できる Luggage icons created by Freepik - Flaticon
37. © 2025 NTT DATA Group Corporation 37 Baggageの効果 シグナルに対してBaggageで伝搬させた項目を付与することでSLIの他にもObservability全体が向上した
38. © 2025 NTT DATA Group Corporation 38 Baggageの注意点 Baggage自体は単なるKVストアでありスキーマはないため 自分勝手に入れてしまうと統制が効かなくなる 最大サイズや使用可能文字などが仕様によって決められている プロトコルによっては利用できない場合がある Ex. W3C Propagationでは利用可能だがB3では利用不可能 Baggage情報が外部に漏れないようにする必要がある Limitation icons created by GOWI - Flaticon No sugar icons created by Sudowoodo - Flaticon Rules icons created by Freepik - Flaticon Cyber security icons created by Graphix's Art - Flaticon
39. © 2025 NTT DATA Group Corporation 39 アジェンダ 1. はじめに 2. 本事例の課題意識 3. SLI設計の見直し 4. SLI実現への技術的チャレンジ 5. OpenTelemetry活用によるチャレンジ克服 6. 組織はどう変わったか？
40. © 2025 NTT DATA Group Corporation 40 組織はどう変わったか？ エンジニアからマネージャーまで全員が 「このシステムの品質はどのくらいか？」を 同じ言葉で確認でき意思決定に繋げられる指標 マネージャーや開発・SREなど多くの人が 「自システムの処理時間」を元に会話するようになり 外接による見かけ上の遅延に惑わされないようになった Success icons created by hqrloveq - Flaticon Goal icons created by Freepik - Flaticon
41. © 2025 NTT DATA Group Corporation 41 今後の展望 今回実現できるようになったSLIを基にしてSLOを策定し より自信をもってサービス品質に向き合えるようにする Baggageで伝搬できるようになった項目を 処理時間以外の指標にも活用していく Goal icons created by Freepik - Flaticon
42. © 2025 NTT DATA Group Corporation 42 まとめ SLIを設計する際には「そのSLIは誰がどのような判断に活用するのか？」を 念頭において設計する必要がある OpenTelemetryのBaggageによってコンポーネント間で情報を伝搬させ 有用な情報をテレメトリシグナルに付与することができる Solution icons created by Bartama Graphic - Flaticon Luggage icons created by Freepik - Flaticon
44. © 2025 NTT DATA Group Corporation 44 Appendix
45. © 2025 NTT DATA Group Corporation 45 Baggage以外に考えられる方法 机上ではあるが使えるかも？と感じた方法 ◼ Span Metrics OpenTelemetry CollectorのSpan Metrics Connectorを用いるとスパンからREDメトリクスを生成することができる これを使って自システム処理部分のスパンをメトリクスにすれば良いのでは？というアイデア しかし、 • 「スパンAからスパンBを引いた部分のメトリクス化」のような複雑な処理はできない • スパンAのメトリクスからスパンBのメトリクスを引くことならできるが、厳密な計測ではない • SLI自体は作れるがログやトレースへの情報付与は完全にはできない • 本システムではそもそもOpenTelemetry Collectorが導入されていない などの理由から検証は実施せず
46. © 2025 NTT DATA Group Corporation 46 Golangでリクエストハンドラ内部からBaggageの項目を変更する方法 本編スライド中の例だとあくまでもinterceptor内部からしかBaggageを操作していない しかし実際のユースケースだと実際のリクエストハンドラ内部でBaggageの値を操作できる必要がある リクエストハンドラに渡すContext構造体はinterceptorからハンドラへの片方向であるため Contextに書き込み用のSyncMapを持たせてハンドラでの変更をinterceptorで取得できるようにする