Upgrade to Pro — share decks privately, control downloads, hide ads and more …

実践OpenTelemetry - Jagu'e'r オブザービリティ分科会 Meetup#2

Avatar for Kazunori Otani Kazunori Otani
May 28, 2025
310

実践OpenTelemetry - Jagu'e'r オブザービリティ分科会 Meetup#2

Jagu'e'r オブザービリティ分科会 Meetup#2 で、書籍「実践OpenTelemetry」を紹介しました。

Avatar for Kazunori Otani

Kazunori Otani

May 28, 2025
Tweet

More Decks by Kazunori Otani

Transcript

  1. Forward- looking statements © 2025 SPLUNK LLC This presentation may

    contain forward-looking statements that are subject to the safe harbors created under the Securities Act of 1933, as amended, and the Securities Exchange Act of 1934, as amended. All statements other than statements of historical facts are statements that could be deemed forward-looking statements. These statements are based on current expectations, estimates, forecasts, and projections about the industries in which we operate and the beliefs and assumptions of our management based on the information currently available to us. Words such as “expects,” “anticipates,” “targets,” “goals,” “projects,” “intends,” “plans,” “believes,” “momentum,” “seeks,” “estimates,” “continues,” “endeavors,” “strives,” “may,” variations of such words, and similar expressions are intended to identify such forward-looking statements. In addition, any statements that refer to (1) our goals, commitments, and programs; (2) our business plans, initiatives, and objectives; and (3) our assumptions and expectations, including our expectations regarding our financial performance, products, technology, strategy, customers, markets, acquisitions and investments are forward-looking statements. These forward-looking statements are not guarantees of future performance and involve significant risks, uncertainties and other factors that may cause our actual results, performance or achievements to be materially different from results, performance or achievements expressed or implied by the forward-looking statements contained in this presentation. Readers are cautioned that these forward-looking statements are only predictions and are subject to risks, uncertainties, and assumptions that are difficult to predict, including those identified in the “Risk Factors” section of Cisco’s most recent report on Form 10-Q filed on February 20, 2024 and its most recent report on Form 10-K filed on September 7, 2023, as well as the “Risk Factors” section of Splunk’s most recent report on Form 10-Q filed with the SEC on November 28, 2023. The forward-looking statements made in this presentation are made as of the time and date of this presentation. If reviewed after the initial presentation, even if made available by Cisco or Splunk, on Cisco or Splunk’s website or otherwise, it may not contain current or accurate information. Cisco and Splunk undertake no obligation to revise or update any forward-looking statements for any reason, except as required by law. In addition, any information about new products, features, functionality or our roadmap outlines our general product direction and is subject to change at any time without notice. It is for informational purposes only and shall not be incorporated into any contract or other commitment or be relied upon in making a purchasing decision. We undertake no commitment, promise or obligation either to develop the features or functionalities described, in beta or in preview (used interchangeably), or to include any such feature or functionality in a future release. The development, release, and timing of any features or functionality described for our products remains at our sole discretion. Splunk, Splunk> and Turn Data Into Doing are trademarks and registered trademarks of Splunk LLC in the United States and other countries. All other brand names, product names or trademarks belong to their respective owners. © 2025 Splunk LLC. All rights reserved.
  2. © 2025 SPLUNK LLC Kazunori Otani Senior Solutions Architect, Observability

    at Splunk @open-telemetry/docs-ja-approvers OpenTelemetry Meetup
  3. © 2025 SPLUNK LLC 実践 OpenTelemetry Jagu'e'r オブザービリティ分科会 Meetup#2 2025/05/14

    本セッションでは、書籍『実践 OpenTelemetry』を軸に、オブザーバビリティの必 然性と OpenTelemetry の全体像を 30 分で駆け足ダイジェスト解説します。 もくじ: 1. オブザーバビリティとは 2. なぜOpenTelemetry 3. OpenTelemetryの基本 4. OpenTelemetryを組織に展開する 5. まとめ お持ち帰りいただくもの : • OpenTelemetryとは何なのかがわかる • 実際に始めるにはどうしたらいいのか、ふんわりと雰囲気がわかる 本日の内容
  4. © 2025 SPLUNK LLC ある日のこと・・・ 1. 同時に複数のアラート がなりました 2. 何が起こっているか、最初の対策を知りたいが、同時にア

    ラートがなっているので、何を戻せばいいか、何を再起動す ればいいのかわからない 3. ログを調べよう!エラーログは見えるが、そのエラーがどう いう処理を起点に発生したかわからない 、そもそもこのエ ラーは通常時はどうなんだっけ... 4. 調べてるうちになんと現象が収まった 5. 再現待ち...(1に戻る) あなたはオンコール担当としてアラートに備えています
  5. © 2025 SPLUNK LLC 現代的なシステムとそのモニタリング • 複数のマイクロサービス, 複数のDB, 外部サービスへの依存 •

    コンテナ環境(Kubernetesのノードとポッド、コンテナ) • 複数のチーム・組織が随時に、独自に変更を加える • 監視のポイント : マイクロサービス x ポッドで増える ◦ 計算機リソース: CPU, Memory, Network, Disk ◦ アプリケーション: ポートの死活監視, REDメトリクス ◦ データベース: 接続状況, クエリ処理 ▪ 違うアーキテクチャーのDBが複数稼働 ◦ ログも増える
  6. © 2025 SPLUNK LLC どこで何が起こっているのか、よくわからない • ポッドは頻繁に入れ替わる(そうじゃないとマイクロサービス化の恩恵を受けていない) • とにかく色々頻繁に変更される(基盤、アプリケーション) •

    マイクロサービスは管理不可能になるまで増殖 する(パーキンソンの法則的な) 👉 現在の状態を把握することは困難 結果として: • 対策が取れないのでトラブルを繰り返す • システムやチームに対する信頼性を失う
  7. © 2025 SPLUNK LLC 従来のツールスタックの課題 • メトリクス中心 の監視: ◦ 因果関係がわからない

    ◦ カーディナリティの制御が難しい • ログ中心の監視: ◦ エラー発生時にログを一つひとつ確認するのは非効率 ◦ 分散トランザクションの途中で発生した問題の特定が困難 👉 分散システムにおけるコンテキストの欠如 により、状況の調査 が非効率に
  8. © 2025 SPLUNK LLC インフラ環境(オンプレ /クラウド) 計装と分析を分離することにより、ベンダーから開放 サーバー サーバー サーバー/VM

    コンテナ環境 コンテナ環境 コンテナ マネージドサービ ス マネージドサービ ス マネージド サービス テレメトリー転 送 パイプライン テレメトリー分析 バックエンド ① テレメトリーの計装・生成・転送 ② 分析 トレース/メトリクス/ログ/プロファイルなど 計装・生成 収集・エクスポート マネージドサービ ス マネージドサービ ス 3rdパーティー 製品
  9. © 2025 SPLUNK LLC なぜOpenTelemetryが必要とされたのか? • 標準化された トレースによる分散システム全体の可視化 ◦ リクエストがどのサービスを通過し、どこで失敗したのかを明確化

    ◦ トランザクションIDのような独自実装を不要にする ◦ トレースは「標準化・構造化されたログである」 「トレース、メトリクス、ログ、プロファイリング、あらゆるテレメトリーのあらゆる 形態を相関させる」 https://www.amazon.co.jp/dp/4814401027 https://learning.oreilly.com/library/view/learning-opentelemetry/9781098147174/
  10. © 2025 SPLUNK LLC OpenTelemetry https://opentelemetry.io/ja/ OpenTelemetry は API, SDK,

    ツール のコレクション です。 テレメトリーデータ (メトリクス、ログ、トレース)の計装、生 成、収集、エクスポート に使用し、ソフト ウェアのパフォーマンスや動作の分析 に 役立てましょう。
  11. © 2025 SPLUNK LLC インフラ環境(オンプレ /クラウド) 計装と分析を分離することにより、ベンダーから開放 サーバー サーバー サーバー/VM

    コンテナ環境 コンテナ環境 コンテナ マネージドサービ ス マネージドサービ ス マネージド サービス テレメトリー転 送 パイプライン テレメトリー分析 バックエンド ① テレメトリーの計装・生成・転送 ② 分析 トレース/メトリクス/ログ/プロファイルなど 計装・生成 収集・エクスポート マネージドサービ ス マネージドサービ ス 3rdパーティー 製品 1. APIで計装 2. SDKで生成 3. コレクターで転送 (オプション)
  12. © 2025 SPLUNK LLC 計装、SDKの初期化 https://opentelemetry.io/docs/languages/js/getting-started/nodejs/ ゼロコード計装(自動計装)を 有効にしつつ、 トレースとメトリクスを コンソールに出力させる

    ゼロコード計装は、 ウェブアプリフレームワーク、HTTP クライアント、 ORマッパーなどのスパンを いい感じに計測してくれる
  13. © 2025 SPLUNK LLC コレクターを設定する https://opentelemetry.io/docs/collector/installation/#kubernetes Kubernetesでの例: kubectl apply \

    -f https://raw.githubusercont ent.com/open-telemetry/ope ntelemetry-collector/v0.12 6.0/examples/k8s/otel-conf ig.yaml DaemonSet(otel-agent)と Service(otel-collector)が 配置される 設定は要調整 (とくにエクスポーター設定)
  14. © 2025 SPLUNK LLC コレクターを設定する : ベンダーディストロ https://github.com/signalfx/splunk-otel-collector-chart/blob/main/helm-charts/splunk-otel-collector/templates/config/_otel-agent.tpl helm repo

    add splunk-otel-collector-chart https://signalfx.github.io/splunk-otel-collector-chart helm install my-splunk-otel-collector --set="splunkObservability.realm=us0,splunkObservability .accessToken=xxxxxx,clusterName=my-cluster" splunk-otel-collector-chart/splunk-otel-collector 設定を含めていい感じに…
  15. © 2025 SPLUNK LLC インフラ環境(オンプレ /クラウド) 計装と分析を分離することにより、ベンダーから開放 サーバー サーバー サーバー/VM

    コンテナ環境 コンテナ環境 コンテナ マネージドサービ ス マネージドサービ ス マネージド サービス テレメトリー転 送 パイプライン テレメトリー分析 バックエンド ① テレメトリーの計装・生成・転送 ② 分析 トレース/メトリクス/ログ/プロファイルなど 計装・生成 収集・エクスポート マネージドサービ ス マネージドサービ ス 3rdパーティー 製品 1. APIで計装 2. SDKで生成 3. コレクターで転送 (オプション)
  16. © 2025 SPLUNK LLC インフラ環境(オンプレ /クラウド) 計装と分析を分離することにより、ベンダーから開放 サーバー サーバー サーバー/VM

    コンテナ環境 コンテナ環境 コンテナ マネージドサービ ス マネージドサービ ス マネージド サービス テレメトリー転 送 パイプライン テレメトリー分析 バックエンド ① テレメトリーの計装・生成・転送 ② 分析 トレース/メトリクス/ログ/プロファイルなど 計装・生成 収集・エクスポート マネージドサービ ス マネージドサービ ス 3rdパーティー 製品 1. APIで計装 2. SDKで生成 3. コレクターで転送 (オプション) あとはよしな に分析しま しょう
  17. © 2025 SPLUNK LLC 分析バックエンドの選び方 : 作るか、それとも買うか 「子犬のようにフリーだが、ビールのようにフリーではない」 • 目に見えるコスト

    ◦ 構築の場合は時間、購入の場合はお金 • 隠れたコスト ◦ 構築の場合は機会費用や見えにくい費用 ◦ 購入の場合は将来の利用シーンやベンダーロックイン
  18. © 2025 SPLUNK LLC 他にも・・・ • それぞれのテレメトリーデータの取り扱い ◦ API, セマンティック規約,

    コンテキスト伝搬, データ型, プロトコル, … • コレクターの設定詳細 • サンプリング
  19. © 2025 SPLUNK LLC テレメトリー整備チームが組織への展開を左右する 従来:各チームがそれぞれの「自己診断」をそれぞれのやり方で行い、結果 を集約していた • 大規模システムではコンテキストが失われる •

    診断方法は各自で異なり、結果の集約に苦労する 👉 各チームはそれぞれの仕事を十分に遂行している!! テレメトリー整備チーム : • テレメトリーの標準化を推進 • 結果の集約と一貫した管理 • システムや組織の状況に応じた展開計画の策定 ◦ OTel/オブザーバビリティに関するベストプラクティスの理解と適用 ◦ 障害対応手順の改善 👉 責任追及を避け、学習と改善に議論の焦点を当てた支援を重視する
  20. © 2025 SPLUNK LLC 実践 OpenTelemetry 本セッションでは、書籍『実践 OpenTelemetry』を軸に、オブザーバビリティの必 然性と OpenTelemetry

    の全体像を 30 分で駆け足ダイジェスト解説します。 もくじ: 1. オブザーバビリティとは 2. なぜOpenTelemetry 3. OpenTelemetryの基本 4. OpenTelemetryを組織に展開する 5. まとめ お持ち帰りいただくもの : • OpenTelemetryとは何なのかがわかる • 実際に始めるにはどうしたらいいのか、ふんわりと雰囲気がわかる 本日の内容