過信した「Syntax OK 」インシデントから考える品質の担保

過信した「Syntax OK 」インシデントから考える品質の担保しろみ

アジェンダ今回はこんな話をしていきます • どんなインシデントを起こしてしまったか • なぜ起きたのか • 作業時に何を確認しなければいけないか(何をどう確認するか）

自己紹介名前: しろみロール: 金融業界のシステム基盤の運用保守担当夏のいいところ: ペンギングッツが色々販売されている最近焦ったこと: 本番作業端末が爆音をあげてフリーズし始める(つい2時間前)

全てはSyntax OK この表示を過信したことから始まりました

その結果、どんなインシデントを起こしたか

検証環境のApacheを停止させてしまった

Apacheの停止 • いわゆるWebサイトを提供するのに必要なミドルウェア • 停止すると以下のことが起こります ◦ ECサイトの場合、商品の購入ができない ◦ お金や金券の換金サイトの場合、換金ができない •
会社の利益を出すために必要なあれこれができなくなってしまう • 場合によっては損害が数千万以上になる、リカバリもできないなども

経緯具体的な経緯としてはこのような内容です • • 証明書の差し替え作業を実施 ◦ その年毎にフォルダを作成 ◦ その中にSSL証明書を格納 ◦
Apacheの設定ファイルの証明書パスを差し替え ◦ Apacheのリロード実施リロード後、Apacheが停止していることが発覚

なぜ起きたのか

なぜ起きたのか原因としては指定したファイルパスのタイポでした • 当然、指定したファイルパスにはSSL証明書は配置されていない • Apacheは存在しないファイルを参照しようとする • 暗号化処理に必要なファイルをApacheが参照できないため、停止

なぜ気づかなかったのか

http -t Syntax OK

このコマンドと実行結果を過信していたことでした

なぜ気づかなかったのか • このコマンドはApacheの構文チェックを実施するコマンドです • 構文に問題がない場合 Syntax OKと表示されます • 実行した結果、Syntax
OKと表示される • 問題ないと判断(過信)し、Apacheをリロードを実行

しかしこのコマンドには、落とし穴が存在します

全ての項目をチェックできるものではない

チェックできること・出来ないこと • httpdコマンドに限らない話ですが、次のことが挙げられます • 確認できること ◦ • 設定ファイルの書き方に問題がないか (構文チェック) 確認できないこと
◦ 指定したパラメータが本当に正しいか ▪ 参照しているファイルパスに誤りがないか、処理に必要なファイルがそこにあるか ▪ 記述している位置が正しいか (対象のドメイン以外のドメインに記述されていないか ) ▪ プロセス数等のパラメータの場合、引き上げすぎていないか • 引き上げすぎた場合、サーバーのリソースが枯渇する

このインシデントから皆さんに伝えたいこと

何をどういう方法で確認するのかを考える

何をどういう方法で確認するのかを考える • なので次のことを皆さんにお伝えします • 何をどういう方法で確認できたらいいのか • 今回だとファイルパスのタイポはどうしたら気づけるのか ◦ lsコマンドでファイルがあるかを確認 ◦
書いている位置が正しいのかを lessコマンドで開いてみる

何をどういう方法で確認するのかを考える • 今日のLT会のテーマはIT業界、本当にあった怖い話 • 他の方の面白怖い話からも得られるものがあると思います • 今日の話が誰かのためになりましたら幸いです

ご清聴ありがとうございました ※こちらのイラストとスライドの背景は GPT-4oに描いていただきました

過信した「Syntax OK 」インシデントから考える品質の担保

過信した「Syntax OK 」インシデントから考える品質の担保

Siromi

More Decks by Siromi

Featured

Transcript