僕らの人生と学ぶ、Observabilityの重要性

僕らの人生と学ぶ、OBSERVABILITYの重要性 2024/02/16 平目

自己紹介 ➢ HN：平目  X(twitter)：@hira0912 ➢ お仕事：AWS周りのインフラ構築 ➢ 趣味：ねこだいすき。 2

今日のテーマ  モニタリング（Monitoring）  オブザーバビリティ（Observability) 3

アジェンダ  監視の重要性  オブザーバビリティの目的  AWSにおけるオブザーバビリティ 4

監視の重要性 5

監視…やってますか？何で導入するの…？いらなくない…？ 6

何故監視を行うのか …という目的ではないですよね？ 7

何故監視を行うのか信頼性（サービスレベル） 8

重要な事リリース後、システムは毎日古くなって行く 9

リリース時の思惑などアテにならないぼくがかんがえたさいきょうのサービスシステムの終焉 10

信頼性の重要性信頼性はサービスの価値と同様に、守り続けなければならないものである。 11

例：世界的に有名なサービス結婚( Jinsei No Hakaba ) 世界中の開発者／利用者が、独自にUI/UXをカスタマイズしてサービスを開発／利用している。 12

例：世界的に有名なサービス＝結婚開発期間リリース運用期間サービスの停止 13

例：世界的に有名なサービス＝結婚 Q.何故サービスが停止する事になるのか？ A.信頼性が守られなかったから起きてしまった未知の問題に対し、迅速に察知／対応が出来なかった。監視／対応が重要 14

開発期間リリース運用期間運用期間というのは開発期間に比べて圧倒的に長い 15

オブザーバビリティの目的 ※所感を含みます 16

重要な事モニタリングには限界がある 17

モニタリングの限界：誰が監視／対応しているか〇データ分析・メトリクス・様々なログ〇本人のスキル・これまでの経験・第六感・セブンセンシズシステムに精通したシニアエンジニア
ではありませんか？ 18

モニタリングの限界：超能力は継承出来ない〇本人のスキル・これまでの経験・第六感・セブンセンシズ〇データ分析・メトリクス・様々なログシニアエンジニア我々の進化先が
エスパータイプとは限らない 19

モニタリングの限界：シニアエンジニアの存在特定の誰かに頼り切りの状態は属人性が高く、システムの信頼性を保つのにはリスクが伴う。いつまでもその方が居て保守管理する前提では無い方が、システムとして健全である。 20

モニタリングの限界：システムの変容 LAMPアーキテクチャ Linux Apache MySQL PHP Python or ⇒安定したサービスの組み合わせで、監視もし易かった 21

モニタリングの限界：サーバレスの登場サーバレスや、コンテナサービスの登場 22

モニタリングの限界：モノリシックからマイクロサービス化へ 23 マイクロサービスを利用する事で、メトリクスだけでは原因箇所の特定が難しくなった。特定不可

オブザーバビリティとは？システムから外部に出力されるデータから、複雑化したシステムの内部の状態または状況を理解および把握する能力のことわからん 24

メトリクス／トレース／ログ〇メトリクス・CPU使用率やメモリ使用率などの、粒度が荒いデータ。・大まかな現象把握に役立つ〇ログ・各種動作の詳細な結果を示す。・詳細な現象の原因特定に役立つデータ粒度荒い
細かい粒度の差が大きく、経験やシステム内部の知識が必要になり、問題解決までの調査時間に差が出てしまう 25

トレーシングの登場 26

メトリクス／トレース／ログ〇メトリクス・CPU使用率やメモリ使用率などの、粒度が荒いデータ。・大まかな現象把握に役立つ〇ログ・各種動作の詳細な結果を示す。・詳細な現象の原因特定に役立つデータ粒度荒い
細かい〇トレース・イベントの相関関係を知る事が出来る。・現象部分の特定に役立つ 27

オブザーバビリティとは？システムから外部に出力されるデータから、複雑化したシステムの内部の状態または状況を理解および把握する能力のこと特定の人物の知識や経験に依存せず、興味・関心さえあれば観測出来る状態にシステムが構成されていること 28

AWSにおけるオブザーバビリティ 29

オブザーバビリティに関するサービス・メトリクス・ログ・アラーム・トレース MC上は吸収 AWS Distro For OpenTelemetry
・OpenTelemetry用の AWS Distribution AWS Inspector ・EC2のソフトウェア脆弱性管理 30

AWS X-RAY AWSにおけるトレーシングを実現する為のシステム 31

AWS X-RAY 実行サンプル補足：全てのリソースに X-Rayトレースを有効済 32

AWS X-RAY実例（正常系）・トレースを有効にしておくことで、ワークフロー図を定義する事なく各サービスの相関関係を確認する事が出来る 33

AWS X-RAY実例（正常系）・トレースを取る事で、親スパンと子スパンの実行結果／所要時間といったインサイトを得る事も可能になる。 34

AWS X-RAY実例（異常系）・子スパンの一部が実行不可だった場合でも、それを容易に特定出来る 35

AWS X-RAY実例（異常系）・全体の内のエラー率も明確になる事で、特定の事項がどれくらいの確率で上手く行かないケースがあるのか、定量的に調査する事が可能になる。 36

AWS X-RAY実例（遅延）・異常終了していないので、エラー自体は取得出来ないが、想定しているより処理が遅延しているケース 37

AWS X-RAY実例（遅延）・各スパンの実行時間が計測できることにより、対象のスパンのプログラム／構築をより良くなる様に見直す事が容易になる 38

重要な事チームメンバが使える様に、教育・周知・体験を忘れない様にすること普段から取り入れること 39

まとめ・監視は信頼性を維持する為の機能・オブザーバビリティは、特定の誰かに依存せず興味・関心さえあればシステムを調査出来る機能・機能の搭載のみに留まらず、教育等を行い、システムの全容を把握出来る人材も増やしておきたい 40

参考文献 O’REILLY’ JAPAN オブザーバビリティ・エンジニアリング 41

さいごにここまでご清聴ありがとうございました。技術に関係無い事も多いですが、 X(Twitter)やqiitaの方でも活動しておりますので、良かったらフォローお願いします。 42

僕らの人生と学ぶ、Observabilityの重要性

僕らの人生と学ぶ、Observabilityの重要性

More Decks by 平目

Other Decks in Programming

Featured

Transcript