AWS パートナー企業のテクニカルサポートが日々思っていること 〜そして、4/15 の現場から〜

2025年5月24日に開催された「JAWS-UG 栃木 # 2 オフライン開催！」（ https://jawsug-tochigi.connpass.com/event/349541/ ）での登壇資料です。
昨年の JAWSUG 北陸新幹線や JAWS FESTA 広島の時の私の話を聞いてくださったことのある方には耳タコかもなのですが、リセラーのテクニカルサポート部門でお客様と AWS テクニカルサポートの中間地点で業務をしていて思うことや、4月に発生した東京リージョンの AZ 障害の際のことをお話ししました。
#jawsug_tochigi #jawsug

Transcript

1. #jawsug_tochigi #jawsug [JAWS-UG 栃木 # 2 オフライン開催！] AWS パートナー企業のテクニカルサポートが 日々思っていること 〜そして、4/15 の現場から〜 JAWS-UG 神戸 @kazzpapa3 2025-05-24 1 Kazuaki Ichino
2. #jawsug_tochigi #jawsug • 自己紹介 • 先に結論 • お伝えしたいこと • まとめ • 4.15 あの日 • まとめ 2 2 目次 Kazuaki Ichino
3. #jawsug_tochigi #jawsug 自己紹介 3 Kazuaki Ichino
4. #jawsug_tochigi #jawsug • 名前：市野 和明（いちの かずあき） • 所属：株式会社サーバーワークス 　　　マネージドサービス部 AWSサポート課 • 好きな AWS サービス：AWS CLI • （テクサポとして） 嫌いな AWS サービス： FSxW、AWS Deadline Cloud AWS Billing（請求ロジックが難解すぎる） • 趣味：ミクが好き、酒を飲む • 　 @kazzpapa3 はじめまして 4 Kazuaki Ichino
5. #jawsug_tochigi #jawsug • リセラーという立場にいます • 雑にいうと AWS さんから AWS アカウントを仕入れてお客様に再販しています • その関係性からお客様は AWS に直接問い合わせできず、 弊社が間に入って対応しています • 立場上、双方の中間地点から見える風景から喋ってますが、個人の意見ですー わたしの立場について 5 Kazuaki Ichino へーしゃ（リセラー） お客様 AWS AWS アカウント お問い合わせ
6. #jawsug_tochigi #jawsug • リセラーという立場にいます • 雑にいうと AWS さんから AWS アカウントを仕入れてお客様に再販しています • その関係性からお客様は AWS に直接問い合わせできず、 弊社が間に入って対応しています • 立場上、双方の中間地点から見える風景から喋ってますが、個人の意見ですー わたしの立場について 6 Kazuaki Ichino へーしゃ（リセラー） お客様 AWS AWS アカウント お問い合わせ SRE や CSM といった特定案件の専任チームではないため 個別事情を踏まえず、AWS 技術仕様上どうか？の観点ですべ てのお客様に対してフラットに対応しています （このスタンスは AWS テクニカルサポートも同一）
7. #jawsug_tochigi #jawsug 先に結論 7 Kazuaki Ichino
8. #jawsug_tochigi #jawsug 課題解決のスピードを上げるには？ • AWS Support として顧客に望むことはすでに公式文書に書いてある ◦ 少なくとも AWS に対して問い合わせをするロールの人は、 まずは目を通しておくことをおすすめします ◦ 技術的なお問い合わせに関するガイドライン https://aws.amazon.com/jp/premiumsupport/tech-support-guidelines • AWS サポートは特定案件の専任チームといった存在ではないため 個別事情を知り得ないことに留意する • 問い合わせ文章は 5W2H を意識する • 担当しているプロジェクトの全容について、 簡単なモノで良いので、説明できる資料があればベター ◦ 複数のアカウントを Transit Gateway などで連携させた、大きいネットワーク空間がある ◦ マイクロサービスアーキテクチャで登場人物（サービス）が多い など • 結局、急がば回れ 8 Kazuaki Ichino
9. #jawsug_tochigi #jawsug 課題解決のスピードを上げるには？ • AWS Support として顧客に望むことはすでに公式文書に書いてある ◦ 少なくとも AWS に対して問い合わせをするロールの人は、 まずは目を通しておくことをおすすめします ◦ 技術的なお問い合わせに関するガイドライン https://aws.amazon.com/jp/premiumsupport/tech-support-guidelines • AWS サポートは特定案件の専任チームといった存在ではないため 個別事情を知り得ないことに留意する • 問い合わせ文章は 5W2H を意識する • 担当しているプロジェクトの全容について、 簡単なモノで良いので、説明できる資料があればベター ◦ 複数のアカウントを Transit Gateway などで連携させた、大きいネットワーク空間がある ◦ マイクロサービスアーキテクチャで登場人物（サービス）が多い など • 結局、急がば回れ 9 Kazuaki Ichino 以降のスライドで言及している内容も このガイドラインに書いていることを私の言葉 に言い換えているだけ、とも言えます
10. #jawsug_tochigi #jawsug お伝えしたいこと 10 Kazuaki Ichino
11. #jawsug_tochigi #jawsug ありえないだろう…、と思われるが、よくある問い合わせ例 > 今朝から AWS につながりません。 > 障害など起きていないでしょうか。 11 Kazuaki Ichino
12. #jawsug_tochigi #jawsug は？ これは私が夢でみかけた文章 ある特定のお客様からいただいた文面そのままではない 12 Kazuaki Ichino > 今朝から AWS につながりません。 > 障害など起きていないでしょうか。
13. #jawsug_tochigi #jawsug は？ > 今朝から AWS につながりません。 > 障害など起きていないでしょうか。 ただ、多少誇張した妄想的な文面ではあるものの 100％ 妄想というわけでもない 本質的な部分では同質なお問い合わせをいただくことは、実は結構ある これは私が夢でみかけた文章 ある特定のお客様からいただいた文面そのままではない 13 Kazuaki Ichino
14. #jawsug_tochigi #jawsug あの文面で（私が、かろうじて）読み取れること • AWS マネジメントコンソール自体か、 AWS で作成した何らかのリソースに対して接続できない状態が発生している？ • 「AWS に繋がらない」の部分から 14 Kazuaki Ichino
15. #jawsug_tochigi #jawsug あの文面で（私が、かろうじて）読み取れること • AWS マネジメントコンソール自体か、 AWS で作成した何らかのリソースに対して接続できない状態が発生している？ • 「AWS に繋がらない」の部分から • すでに収束した事象に対して原因究明をしたい問い合わせではなく、 現在も継続中の事象に対しての問い合わせではないか？ • 今朝から AWS に繋がらない ← 繋がらない時間帯があった。という書き方ではない点から推測 15 Kazuaki Ichino
16. #jawsug_tochigi #jawsug あの文面で（私が、かろうじて）読み取れること • AWS マネジメントコンソール自体か、 AWS で作成した何らかのリソースに対して接続できない状態が発生している？ • 「AWS に繋がらない」の部分から • すでに収束した事象に対して原因究明をしたい問い合わせではなく、 現在も継続中の事象に対しての問い合わせではないか？ • 今朝から AWS に繋がらない ← 繋がらない時間帯があった。という書き方ではない点から推測 • 日本国内のお客様なので、「今朝」と記載されているのは、 私が思う今朝と同じ頃？ • 7時 〜 9時すぎくらいまでの間あたりとか？ 16 Kazuaki Ichino
17. #jawsug_tochigi #jawsug あの文面で（私が、かろうじて）読み取れること • AWS マネジメントコンソール自体か、 AWS で作成した何らかのリソースに対して接続できない状態が発生している？ • 「AWS に繋がらない」の部分から • すでに収束した事象に対して原因究明をしたい問い合わせではなく、 現在も継続中の事象に対しての問い合わせではないか？ • 今朝から AWS に繋がらない ← 繋がらない時間帯があった。という書き方ではない点から推測 • 日本国内のお客様なので、「今朝」と記載されているのは、 私が思う今朝と同じ頃？ • 7時 〜 9時すぎくらいまでの間あたりとか？ ただしこれらは、あくまで私の推測に過ぎない。聞かなわからん 17 Kazuaki Ichino
18. #jawsug_tochigi #jawsug ツッコミどころは多いが… お客様に確認したいポイントは思いつく限り以下かと思われます。 • 接続できない対象は何？ • AWS マネジメントコンソール？AWS アカウント内に存在する何かのリソース？ • 「誰もが接続できない」のか「特定のユーザーだけ」なのか？ • 発生時間帯は？ • 今朝というアバウトな時間軸ではなく、明確に何時ごろ、という情報がほしい。 • さらに言うなら、日本時間ですよね？という確認はしておきたい。 • 現在も継続中なのか？収束しているのか？ • 時間軸の話で言うなら「今回初めて」なのか「一定程度発生していた」のか、 発生頻度の情報もほしい。 18 Kazuaki Ichino
19. #jawsug_tochigi #jawsug ツッコミどころは多いが… お客様に確認したいポイントは思いつく限り以下かと思われます。 • 接続できない対象は何？ • AWS マネジメントコンソール？AWS アカウント内に存在する何かのリソース？ • 「誰もが接続できない」のか「特定のユーザーだけ」なのか？ • 発生時間帯は？ • 今朝というアバウトな時間軸ではなく、明確に何時ごろ、という情報がほしい。 • さらに言うなら、日本時間ですよね？という確認はしておきたい。 • 現在も継続中なのか？収束しているのか？ • 時間軸の話で言うなら「今回初めて」なのか「一定程度発生していた」のか、 発生頻度の情報もほしい。 19 Kazuaki Ichino 確認したいポイントはいくつもある
20. #jawsug_tochigi #jawsug ところで、AWS サポートにも SLO があります 20 Kazuaki Ichino
21. #jawsug_tochigi #jawsug 契約中のサポートプランと選択したケースの重要度に応じて… • 目安となる初回応答時間の設定があります 「AWS サポート プラン比較」（ https://aws.amazon.com/jp/premiumsupport/plans/ ）より抜粋 21 Kazuaki Ichino
22. #jawsug_tochigi #jawsug 契約中のサポートプランと選択したケースの重要度に応じて… • 目安となる初回応答時間の設定があります • ただし、「合理的な範囲でできる限りの努力を」と記載のある通り、 「ベストエフォート」であることには注意が必要 「AWS サポート プラン比較」（ https://aws.amazon.com/jp/premiumsupport/plans/ ）より抜粋 22 Kazuaki Ichino
23. #jawsug_tochigi #jawsug 例えば • 目安となる初回応答時間の設定があります • ただし、「合理的な範囲でできる限りの努力を」と記載のある通り、 「ベストエフォート」であることにも注意が必要 エンタープライズプランを契約しているお客様で、 「ミッションクリティカルなシステムのダウン」を選択したときには、 おおむね 15分以内には初回の回答をもらえることとなります。 「AWS サポート プラン比較」（ https://aws.amazon.com/jp/premiumsupport/plans/ ）より抜粋 23 Kazuaki Ichino
24. #jawsug_tochigi #jawsug ただし… • 目安となる初回応答時間の設定があります • ただし、「合理的な範囲でできる限りの努力を」と記載のある通り、 「ベストエフォート」であることにも注意が必要 ただし SLO は初回応答のみで、2ターン目以降には設定がない 「AWS サポート プラン比較」（ https://aws.amazon.com/jp/premiumsupport/plans/ ）より抜粋 24 Kazuaki Ichino
25. #jawsug_tochigi #jawsug ってことは？ 25 Kazuaki Ichino
26. #jawsug_tochigi #jawsug 26 Kazuaki Ichino AWS サポートの初回ターンを 問い合わせ内容の再確認に 費やすのはもったいない
27. #jawsug_tochigi #jawsug SLO の待機時間を待った挙句… • 先ほどの問い合わせ文面を送信していた場合、 初回回答では一発で課題解決する回答を得られないであろうことは、ほぼ明確 27 Kazuaki Ichino
28. #jawsug_tochigi #jawsug SLO の待機時間を待った挙句… • 先ほどの問い合わせ文面を送信していた場合、 初回回答では一発で課題解決する回答を得られないであろうことは、ほぼ明確 • 「ツッコミどころは多いが…」のスライドで書いたような ヒアリング事項が初回回答として返ってくることは容易に想像できる 28 Kazuaki Ichino
29. #jawsug_tochigi #jawsug SLO の待機時間を待った挙句… • 先ほどの問い合わせ文面を送信していた場合、 初回回答では一発で課題解決する回答を得られないであろうことは、ほぼ明確 • 「ツッコミどころは多いが…」のスライドで書いたような ヒアリング事項が初回回答として返ってくることは容易に想像できる • 前述の応答時間を待機して、ようやく得られた返事に ヒアリング項目しか書かれていない状況は寂しいものがありますよね 29 Kazuaki Ichino
30. #jawsug_tochigi #jawsug SLO の待機時間を待った挙句… • 先ほどの問い合わせ文面を送信していた場合、 初回回答では一発で課題解決する回答を得られないであろうことは、ほぼ明確 • 「ツッコミどころは多いが…」のスライドで書いたような ヒアリング事項が初回回答として返ってくることは容易に想像できる • 前述の応答時間を待機して、ようやく得られた返事に ヒアリング項目しか書かれていない状況は寂しいものがありますよね • 本番環境にクリティカルな障害が発生している場合であれば、 虚無感と落胆は相当のものだと思います 30 Kazuaki Ichino
31. #jawsug_tochigi #jawsug SLO の待機時間を待った挙句… • 先ほどの問い合わせ文面を送信していた場合、 初回回答では、一発で課題解決する回答を得られないであろう • 「ツッコミどころは多いが…」のスライドで書いたような ヒアリング事項が初回回答として返ってくることが想像できる • 前述の応答時間を待機して、ようやく得られた返事に ヒアリング項目しか書かれていない状況は寂しいものがありますよね • 本番環境にクリティカルな障害が発生している場合であれば、 虚無感と落胆は相当のものだと思います 31 Kazuaki Ichino （実際に AWS から言われるかどうかは別として） ヒアリング事項をまとめて SLO 時間内に初回応答しましたよね？ あとは順次対応しますね。だと、もったいないですよね。
32. #jawsug_tochigi #jawsug 結局のところ 32 Kazuaki Ichino
33. #jawsug_tochigi #jawsug 客観的に 理解してもらえるように書く 33 Kazuaki Ichino
34. #jawsug_tochigi #jawsug 客観的に理解してもらえるように書く • 結局のところ、これに尽きるのだと思います 34 Kazuaki Ichino
35. #jawsug_tochigi #jawsug • 結局のところ、これに尽きるのだと思います • 障害や発生事象により緊急度や内容も違うが、 問い合わせへの逆質問の発生を極力減らしてやり取りのターン数を削減するこ とで、可能な限りスピーディな課題の解決につながると考えています 客観的に理解してもらえるように書く 35 Kazuaki Ichino
36. #jawsug_tochigi #jawsug 36 Kazuaki Ichino では、どのように伝えようか
37. #jawsug_tochigi #jawsug そもそも、相手は誰なのか？ • 問い合わせを送る相手は、会社の中で隣にいる同僚や上司、あるいは取引先や 協業先などではなく、まったくの第三者である点が重要なポイントです 37 Kazuaki Ichino
38. #jawsug_tochigi #jawsug そもそも、相手は誰なのか？ • 問い合わせを送る相手は、会社の中で隣にいる同僚や上司、あるいは取引先や 協業先などではなく、まったくの第三者である点が重要なポイントです • 相手に対して理解を求めるにあたり、同じ文化圏にいない人が対象であるとい う点で、ハイコンテクストな記述は避けるべきです ◦ 社内の人間であれば知っているであろうことも伝えないと、 相手は知り得ないという点に注意が必要だと考えます 38 Kazuaki Ichino
39. #jawsug_tochigi #jawsug そもそも、相手は誰なのか？ • 問い合わせを送る相手は、会社の中で隣にいる同僚や上司、あるいは取引先や 協業先などではなく、まったくの第三者である点が重要なポイントです • 相手に対して理解を求めるにあたり、同じ文化圏にいない人が対象であるとい う点で、ハイコンテクストな記述は避けるべきです ◦ 社内の人間であれば知っているであろうことも伝えないと、 相手は知り得ないという点に注意が必要だと考えます そもそも、何も事情を知らない人に伝えるのだから、 本来、それ相応の労力がかかるはずです。 39 Kazuaki Ichino
40. #jawsug_tochigi #jawsug そもそも、相手は誰なのか？ • 問い合わせを送る相手は、会社の中で隣にいる同僚や上司、あるいは取引先や 協業先などではなく、まったくの第三者である点が重要なポイントです • 相手に対して理解を求めるにあたり、同じ文化圏にいない人が対象であるとい う点で、ハイコンテクストな記述は避けるべきです ◦ 社内の人間であれば知っているであろうことも伝えないと、 相手は知り得ないという点に注意が必要だと考えます そもそも、何も事情を知らない人に伝えるのだから、 本来、それ相応の労力がかかるはずです。 40 Kazuaki Ichino > 今朝から AWS につながりません。 > 障害など起きていないでしょうか。 雑に投げては、伝わるものも伝わらないはずです。
41. #jawsug_tochigi #jawsug 41 Kazuaki Ichino 相手は何を知り、 何を見られるのか
42. #jawsug_tochigi #jawsug 簡単にですが、 • AWS の利用者、AWS テクニカルサポート、そして、私が所属している企業の ようなパートナーの三者で、誰が何を知り、何を見られるのかを簡単にまとめ てみました • それぞれの立場で、見られる見られない、知っている知り得ないがあり、 それらについてはより意識して伝える必要があると考えられます 42 Kazuaki Ichino
43. #jawsug_tochigi #jawsug それぞれがどの情報にアクセスできるか、知りうるか 対象 AWS 利用者 （お客様） （私の所属企業のような） パートナー企業 AWS テクニカルサポート 設計背景や実装 ◦ 知っている × 知り得ない × 知り得ない 障害や事象の影響度 ◦ 知っている × 知り得ない × 知り得ない AWS マネジメントコンソー ル ◦ 閲覧可能 ◦ 閲覧可能 ※一部例外あり1 × 閲覧不可能（閲覧しない） AWS で構築されたサーバ内 部のデータやログ ◦ 閲覧可能 × 閲覧不可 （ログインしない） × 閲覧不可 （ログインしない） AWS 物理基盤 × 閲覧不可 × 閲覧不可 ◦ 閲覧可能 1. サービスのポータルや操作画面の閲覧のために、IAM Identity Center によるユーザー管理となっているサービスの場合、その発生事象の閲覧ができない AWS サービスもある 43 Kazuaki Ichino
44. #jawsug_tochigi #jawsug それぞれがどの情報にアクセスできるか、知りうるか 対象 AWS 利用者 （お客様） （私の所属企業のような） パートナー企業 AWS テクニカルサポート 設計背景や実装 ◦ 知っている × 知り得ない × 知り得ない 障害や事象の影響度 ◦ 知っている × 知り得ない × 知り得ない AWS マネジメントコンソー ル ◦ 閲覧可能 ◦ 閲覧可能 ※一部例外あり1 × 閲覧不可能（閲覧しない） AWS で構築されたサーバ内 部のデータやログ ◦ 閲覧可能 × 閲覧不可 （ログインしない） × 閲覧不可 （ログインしない） AWS 物理基盤 × 閲覧不可 × 閲覧不可 ◦ 閲覧可能 1. サービスのポータルや操作画面の閲覧のために、IAM Identity Center によるユーザー管理となっているサービスの場合、その発生事象の閲覧ができない AWS サービスもある 44 Kazuaki Ichino
45. #jawsug_tochigi #jawsug 45 Kazuaki Ichino 過不足のない問い合わせのために
46. #jawsug_tochigi #jawsug 考え方の一例 • 「いつなにがどうした」を整理する方法としてよく使われている 5W1H の スキームに、もう一つ How Much を追加して 5W2H として整理してみました 46 Kazuaki Ichino
47. #jawsug_tochigi #jawsug 考え方の一例 • 「いつなにがどうした」を整理する方法としてよく使われている 5W1H の スキームに、もう一つ How Much を追加して 5W2H として整理してみました • あくまで、整理方法の一例ですし、私も書きながら「なにが」と「なにを」、 「なにに」をすべて What に詰め込めなくもないなぁと思ってしまったところ もありましたので、お客様組織内やプロジェクト内でアレンジいただいて良い かと思います 47 Kazuaki Ichino
48. #jawsug_tochigi #jawsug • 「いつなにがどうした」を整理する方法としてよく使われている 5W1H の スキームに、もう一つ How Much を追加して 5W2H として整理してみました • あくまで、整理方法の一例ですし、私も書きながら「なにが」と「なにを」、 「なにに」をすべて What に詰め込めなくもないなぁと思ってしまったところ もありましたので、お客様組織内やプロジェクト内でアレンジいただいて良い かと思います 考え方の一例 48 Kazuaki Ichino ガチガチに決めておく必要まではないけど、 プロジェクトの担当者ごとで差異が生まれないように、とか いざ障害が発生したときに、まごまごしなくていいように、 ある程度フォーマット化しておくといいよね、くらいに捉えていただけると幸い です
49. #jawsug_tochigi #jawsug 5W2H の例 5W2H 目的 問い合わせ時の記載項目として考えられる事柄 When ・時間軸、頻度、継続の有無を伝える ・事象を観測できた日時 ・タイムゾーン ・観測した事象は１回のみか ・観測した事象は継続中か、収束しているか Where ・事象が発生している箇所を伝える ・事象が発生している AWS リソースの ID や ARN What ・何をした時に発生する（発生した） かを伝える ・すでに試してみていることがあれば 合わせて伝える ・＜How＞で伝える発生事象に対して、何をした時に発生 するのか。 あるいは何をした時には発生しないのか。 ・事象の解決を目的として、すでにやってみた行動はある か。 Who ・事象に関与する人物、モノ（操作主 体）の有無や詳細を伝える 上記の＜What＞に対し、関連するヒト・モノがあれば記載 する 例） ・操作主体（呼び出し元）としてのIAM ユーザーやロール ・操作主体（呼び出し元）としての Lambda など他の AWS サービス・リソース 49 Kazuaki Ichino
50. #jawsug_tochigi #jawsug 5W2H の例 5W2H 目的 問い合わせ時の記載項目として考えられる事柄 Why ・発生事象をなぜ問題視しているかを 伝える ・実装しようとしている背景を伝える ・発生している事象において AWS の不具合・不備を疑うに 至った理由を伝える ・構築中や検討中などで想定するゴールのイメージに対し て、設計意図を伝える How ・どのような症状かを伝える 発生している事象を記載する。 例） ・接続ができない ・操作不能となる ・〇〇という結果となることを想定しているが△△となる How Much ・影響度はどの程度か伝える 事象が発生していることの業務への影響（ビジネスインパク ト）を記載する。 定量的な記載であればより客観的に判断が可能になる 例） ・〇〇人のユーザーのアクセスを処理することができず、 〇〇円／日の損失がある 50 Kazuaki Ichino
51. #jawsug_tochigi #jawsug 51 Kazuaki Ichino 5W2H それぞれのポイント
52. #jawsug_tochigi #jawsug When • 時間軸、頻度、継続の有無を記載いただきたい点はもちろんですが、 AWS ではグローバルサービスということもあり、グリニッジ標準時/GMT（一 部 太平洋標準時/PST）が利用されていることもあるため、意識齟齬を生まな いためにタイムゾーンを記載いただくとより良いと思います 52 Kazuaki Ichino
53. #jawsug_tochigi #jawsug Where, Who • EC2 インスタンスの Name タグなど、タグの値は、同一の値を許容しうるた め、一意に特定できる値としては適切とは言えません 意識齟齬を生まないために、インスタンス ID や ARN など、一意となる値を使 用することをお勧めいたします 53 Kazuaki Ichino
54. #jawsug_tochigi #jawsug Where, Who • EC2 インスタンスの Name タグなど、タグの値は、同一の値を許容しうるた め、一意に特定できる値としては適切とは言えません 意識齟齬を生まないために、インスタンス ID や ARN など、一意となる値を使 用することをお勧めいたします • また、同様に意識齟齬を回避する目的で、お客様固有の俗称や略称の利用 （AWS が正式に行なっていない略称も含む）も避けることで、スムーズな共通 認識につながると考えます 54 Kazuaki Ichino
55. #jawsug_tochigi #jawsug Where, Who • EC2 インスタンスの Name タグなど、タグの値は、同一の値を許容しうるた め、一意に特定できる値としては適切とは言えません 意識齟齬を生まないために、インスタンス ID や ARN など、一意となる値を使 用することをお勧めいたします • また、同様に意識齟齬を回避する目的で、お客様固有の俗称や略称の利用 （AWS が正式に行なっていない略称も含む）も避けることで、スムーズな共通 認識につながると考えます • さらに、通信経路や登場人物の把握のために構成図などの補足資料を共有いた だけると理解が早まる点もありますので、複雑な構成をとっているような場合 や被疑箇所を明示したいような場合に添えていただけると幸いです 55 Kazuaki Ichino
56. #jawsug_tochigi #jawsug Where, Who • EC2 インスタンスの Name タグなど、タグの値は、同一の値を許容しうるた め、一意に特定できる値としては適切とは言えません 意識齟齬を生まないために、インスタンス ID や ARN など、一意となる値を使 用することをお勧めいたします • また、同様に意識齟齬を回避する目的で、お客様固有の俗称や略称の利用 （AWS が正式に行なっていない略称も含む）も避けることで、スムーズな共通 認識につながると考えます • さらに、通信経路の把握に構成図を共有いただけると理解が早まる点もありま すので、複雑な構成をとっているような場合や被疑箇所を明示したいような場 合に添えていただけると幸いです。 56 Kazuaki Ichino 余談ですが… SQL Server が関連するお問い合わせで RDS と記載されていた箇所を Amazon Relational Database Service と認識し対応していて、どうも話が食い違うな？と 思ったところ、Windows Server リモートデスクトップサービス（RDS) のこと だったと判明し、対応方針の変更を迫られた場面もありました。
57. #jawsug_tochigi #jawsug What, How • 事象が発生する際の再現手順として記載いただくと良いと思います 57 Kazuaki Ichino
58. #jawsug_tochigi #jawsug What, How • 事象が発生する際の再現手順として記載いただくと良いと思います • AWS では（弊社でも）事象の再現性を確認して お客様固有の問題か否かの判断をしたり、回避方法の有無の目的で、 実際に検証を行う場面は多々あります 58 Kazuaki Ichino
59. #jawsug_tochigi #jawsug What, How • 事象が発生する際の再現手順として記載いただくと良いと思います • AWS では（弊社でも）事象の再現性を確認して お客様固有の問題か否かの判断をしたり、回避方法の有無の目的で、 実際に検証を行う場面は多々あります • 「やってダメだったから意味ないわ」と思わず、 やってみてダメだったことも添えていただけると検証項目からの排除できた り、別観点を加えてもう一度やってみてほしいなどの新たな観点の発見につな がり、結果として迅速な課題解決につながると考えます 59 Kazuaki Ichino
60. #jawsug_tochigi #jawsug Why • 予備知識のないテクニカルサポート担当側からは、AWS マネジメントコン ソールで発生している事象や設定は、拝見する段階での事実（の集合体）でし かない側面があります 発生事象を「なぜ」問題視しているのかの観点をお伝えいただくと、 より着手が早まります 60 Kazuaki Ichino
61. #jawsug_tochigi #jawsug Why • 予備知識のないテクニカルサポート担当側からは、AWS マネジメントコン ソールで発生している事象や設定は、拝見する段階での事実（の集合体）でし かない側面があります 発生事象を「なぜ」問題視しているのかの観点をお伝えいただくと、 より着手が早まります • 設計の意図や目的（ゴールのイメージ）などの情報をいただいていることで、 現在の実装方針では実現できないと判明したことに対して、代替案のご提示を することが可能になる場合があります 61 Kazuaki Ichino
62. #jawsug_tochigi #jawsug How Much • 前述の通り、初回応答時間はベストエフォートであるため、 同時に同程度の緊急度設定のサポートケースが上がってきた際に、 取捨選択が発生してしまう可能性はあると考えられます 62 Kazuaki Ichino
63. #jawsug_tochigi #jawsug How Much • 前述の通り、初回応答時間はベストエフォートであるため、 同時に同程度の緊急度設定のサポートケースが上がってきた際に、 取捨選択が発生してしまう可能性はあると考えられます • その際に、定量的な記載を行うことで、お客様のお困り度合いをより適切に、 かつ、より客観的な判断基準として相手に伝えることにつながると考えられま す 63 Kazuaki Ichino
64. #jawsug_tochigi #jawsug How Much • 前述の通り、初回応答時間はベストエフォートであるため、 同時に同程度の緊急度設定のサポートケースが上がってきた際に、 取捨選択が発生してしまう可能性はあると考えられます • その際に、定量的な記載を行うことで、お客様のお困り度合いをより適切に、 かつ、より客観的な判断基準として相手に伝えることにつながると考えられま す • 「このシステムが停止していることで〇千万円／日の機会損失となる。」 みたいな具体的な記載です。 64 Kazuaki Ichino
65. #jawsug_tochigi #jawsug テンプレート化の一例 AWS サポート　ご担当者様 いつもお世話になっております。〇〇と申します。 〇〇について確認させてください。 （〇〇で△△という事象が発生しています。） ・発生した日時・タイムゾーン、発生頻度、事象の継続性 ・環境について(リソースID等含む) ・事象を観測した経緯、発生までの手順 ・既に調査したこと、およびその結果 ・なぜこの設計となっているか （なぜ本問い合わせ目的を達成したいのか） ・緊急度、業務への影響度について（定量的に書く） --- 以上、よろしくお願いいたします。 65 Kazuaki Ichino
66. #jawsug_tochigi #jawsug まとめ 66 Kazuaki Ichino
67. #jawsug_tochigi #jawsug 課題解決のスピードを上げるには？ • AWS Support として顧客に望むことはすでに公式文書に書いてある ◦ 少なくとも AWS に対して問い合わせをするロールの人は、 まずは目を通しておくことをおすすめします ◦ 技術的なお問い合わせに関するガイドライン https://aws.amazon.com/jp/premiumsupport/tech-support-guidelines • AWS サポートは特定案件の専任チームといった存在ではないため 個別事情を知り得ないことに留意する • 問い合わせ文章は 5W2H を意識する • 担当しているプロジェクトの全容について、 簡単なモノで良いので、説明できる資料があればベター ◦ 複数のアカウントを Transit Gateway などで連携させた、大きいネットワーク空間がある ◦ マイクロサービスアーキテクチャで登場人物（サービス）が多い など • 結局、急がば回れ 67 Kazuaki Ichino
68. #jawsug_tochigi #jawsug 4.15 あの日 68 Kazuaki Ichino
69. #jawsug_tochigi #jawsug • ちょうど関西圏で AWS Community Builders (通称 CBs) に新たに就任された 方々と既存の CBs たちで AWS さんの大阪オフィスで集まろー、と企画して いた日の前日の出来事でした いろいろありましたね 69 Kazuaki Ichino
70. #jawsug_tochigi #jawsug • ちょうど関西圏で AWS Community Builders (通称 CBs) に新たに就任された 方々と既存の CBs たちで AWS さんの大阪オフィスで集まろー、と企画して いた日の前日の出来事でした • プライマリおよびセカンダリ電源の供給が中断されたことが原因となり、 東京リージョンの apne1-az4 で基盤障害が発生しました いろいろありましたね 70 Kazuaki Ichino
71. #jawsug_tochigi #jawsug • ちょうど関西圏で AWS Community Builders (通称 CBs) に新たに就任された 方々と既存の CBs たちで AWS さんの大阪オフィスで集まろー、と企画して いた日の前日の出来事でした • プライマリおよびセカンダリ電源の供給が中断されたことが原因となり、 東京リージョンの apne1-az4 で基盤障害が発生しました • CBs たちで集まる会では、 「今朝出勤したら、問い合わせまあまあありましたw」なんて言っていました いろいろありましたね 71 Kazuaki Ichino
72. #jawsug_tochigi #jawsug 代表的なもの • 弊社のリソースで影響を受けたものはありますか？ • ap-northeast-1c は大丈夫でしたか？ • なぜ発生したのか？AWS として再発防止策はどう考えている？ • 世間では騒がれているようですが、弊社のリソースには影響がありません 72 Kazuaki Ichino
73. #jawsug_tochigi #jawsug 73 Kazuaki Ichino AWS さんの前では言いにくいけど なるべくサポートに頼らなくても 済む方法（超主観）
74. #jawsug_tochigi #jawsug ガイドラインの存在 74 Kazuaki Ichino • 技術的なお問い合わせに関するガイドライン https://aws.amazon.com/jp/premiumsupport/tech-support-guidelines/
75. #jawsug_tochigi #jawsug クラウドに合わせた設計を 75 Kazuaki Ichino • そもそもホワイトペーパーで Design for failure と言っている ◦ “Everything fails all the time.” – Werner Vogels • https://d1.awsstatic.com/events/reinvent/2019/REPEAT_1_Designing_ for_failure_Architecting_resilient_systems_on_AWS_ARC335-R1.pdf
76. #jawsug_tochigi #jawsug • AWS Service Level Agreements (SLAs) としてサービスごとに公開されてい ます ◦ 上記ドキュメントに限らず、AWS の文書は英語版で読もうぜ！ ◦ 特に SLA のページは日本語版がほぼ古い（けどちゃんと英語版が常に最新って書いてる） • 例えば EC2 で見たときに「インスタンスレベル」と「リージョンレベル」の ２つ定義されている ◦ 単体でインスタンスを利用しているか、マルチ AZ で同時にデプロイしているかで異なる SLA、SLO を正しく理解する 76 Kazuaki Ichino
77. #jawsug_tochigi #jawsug • 障害が起こり得ない、起こるはずはない、起こってもらっては困る という考えを捨てる • 事象発生時、影響を受けているリソースを捨て、 新たなリソースを作ることで速やかな復旧ができる設計をする。 これらドキュメントからわかること 77 Kazuaki Ichino
78. #jawsug_tochigi #jawsug • AWS に対する過剰な期待の裏側には、AWS が管理する範囲は 責任を持って管理してもらわないと困るという考えがあるのでは？ 責任共有モデル（双方の責任範囲）も正しく理解しておく 78 Kazuaki Ichino
79. #jawsug_tochigi #jawsug • AWS に対する過剰な期待の裏側には、AWS が管理する範囲は 責任を持って管理してもらわないと困るという考えがあるのでは？ • 管理の責任と説明や情報開示については、 「技術的なお問い合わせに関するガイドライン」の以下の考え方が重要 責任共有モデル（双方の責任範囲）も正しく理解しておく 79 Kazuaki Ichino
80. #jawsug_tochigi #jawsug • AWS に対する過剰な期待の裏側には、AWS が管理する範囲は 責任を持って管理してもらわないと困るという考えがあるのでは？ • 管理の責任と説明や情報開示については、 「技術的なお問い合わせに関するガイドライン」の以下の考え方が重要 責任共有モデル（双方の責任範囲）も正しく理解しておく 80 Kazuaki Ichino
81. #jawsug_tochigi #jawsug 81 Kazuaki Ichino もう一度私が見聞きした 問い合わせを見てみる
82. #jawsug_tochigi #jawsug • 弊社のリソースで影響を受けたものはありますか？ ◦ AWS Health Dashboard に記載があります ◦ また、お客様のシステム全体としてダウンタイムの発生がなければ良しとなるのでは？ 何をどこまで追い求めるのか？ 82 Kazuaki Ichino 一つ一つすべての AWS サービスについて あれは？これは？とお問い合わせいただいていました。 個別のサービスで影響を受けたかどうか？ではなく、さまざまな AWS サービスを 複合して構築した「お客様システム」が正しく稼働していたのであれば「それで 良し」とできないかな？と思いながら対応した例です
83. #jawsug_tochigi #jawsug • ap-northeast-1c は大丈夫でしたか？ ◦ アベイラビリティーゾーン名とアベイラビリティーゾーン ID はアカウントごとに異なります ◦ AWS リソースのアベイラビリティーゾーン IDs - AWS Resource Access Manager ドキュメントにあるので問い合わせ不要だったかもしれない例 83 Kazuaki Ichino AWS 公式ドキュメントに解説がある通り、アベイラビリティーゾーン名と アベイラビリティーゾーン ID の違いを正しく理解していれば不要だったかもしれ ない問い合わせの一例
84. #jawsug_tochigi #jawsug • なぜ発生したのか？AWS として再発防止策はどう考えている？ ◦ 技術的なお問い合わせに関するガイドライン | AWS サポート にある通り、お客様でコント ロール不能な部分なのでお伝えしてもお客様の回避策に影響がないため開示しない内容です ◦ また Design for failure を推奨し、そもそも、マルチ AZ を推奨しています シングル AZ 構成にしていたことで事象の影響を受けたのであれば設計通りと言えます AWS が回答しない、としているもの 84 Kazuaki Ichino そもそも故障の原因を開示していない、あるいは、開示してもお客様の回避策や 次回の行動に影響がないため開示しないとなっている範疇のため、ガイドライン に書かれている以上の情報が出てくることが期待できない
85. #jawsug_tochigi #jawsug • 世間では騒がれているようですが、弊社のリソースには影響がありません ◦ 良かったじゃないですか… ◦ マルチ AZ 構成が取れていて、設計通りダウンタイムが発生していないのであれば それでよくない？ 逆に疑心暗鬼になった？と思われた例 85 Kazuaki Ichino 世間が騒いでいるからといって自身に通知がなかったことに対して 変に（逆に）うちは大丈夫なの？って思われたんじゃないかなと思う問い合わせ AWS が推奨する構成を取れていて、影響を受けなかったのであれば スルーしたらいいんじゃない？と思った好例ですし、たまたま今回の AZ に寄せ てなかったのであれば、明日は我が身、と思って設計見直せば良いかと。
86. #jawsug_tochigi #jawsug 今回、場合によっては問い合わせ不要だったかもしれない • 弊社のリソースで影響を受けたものはありますか？ • ap-northeast-1c は大丈夫でしたか？ • なぜ発生したのか？AWS として再発防止策はどう考えている？ • 世間では騒がれているようですが、弊社のリソースには影響がありません 86 Kazuaki Ichino もしかしたら、今回の事象においては、弊社（ひいては AWS テクニカルサポー ト）への問い合わせが不要だったかもしれません
87. #jawsug_tochigi #jawsug • 個別事情を含むので資料への明記は控えますが、 わたしが社内に集まっている問い合わせを見渡した中で、 これは問い合わせをせざるを得なかった例だと思ったもの ◦ マルチ AZ 配置を行うよう Auto Scaling を構成し、 ベストプラクティスに沿った設計をしていた ◦ その他、構成上考えられる範囲でシングル AZ になっているポイントや 単一障害点になっている点はなかった ◦ それでも、とある構成要素が正しく起動してこなかった（キャパシティ不足でもない） ◦ つまり、AWS のドキュメントや設計指針に沿った構成をしていたのに 構成しているサービスにダウンタイムが発生してしまった これは問い合わせせざるを得なかったね…と思った例 87 Kazuaki Ichino
88. #jawsug_tochigi #jawsug • 個別事情を含むので資料への明記は控えますが、 わたしが社内に集まっている問い合わせを見渡した中で、 これは問い合わせをせざるを得なかった例だと思ったもの ◦ マルチ AZ 配置を行うよう Auto Scaling を構成し、 ベストプラクティスに沿った設計をしていた ◦ その他、構成上考えられる範囲でシングル AZ になっているポイントや 単一障害点になっている点はなかった ◦ それでも、とある構成要素が正しく起動してこなかった（キャパシティ不足でもない） ◦ つまり、AWS のドキュメントや設計指針に沿った構成をしていたのに 構成しているサービスにダウンタイムが発生してしまった これは問い合わせせざるを得なかったね…と思った例 88 Kazuaki Ichino AWS サポート、製品担当部署に調査してもらったところ、 とあるサービスのコントロールプレーン側で想定外の事象が起こっていた それに引きずられて発生してしまったとのこと
89. #jawsug_tochigi #jawsug まとめ 2 89 Kazuaki Ichino
90. #jawsug_tochigi #jawsug • ガイドラインを把握していることで、より迅速な課題解決のために どのような情報があれば良いかがわかるだけでなく、AWS が開示しない、 回答しにくい回答範囲があることがわかる • AWS が推奨する設計原則に沿っていると事象に見舞われる確率を下げること ができるとともに、そもそもそういった使い方を AWS が想定していることを あらかじめ知っておく ◦ ベストプラクティスに沿っていない（予算などから沿わない判断をしてい るものを含む）場合、発生しうるものだと理解しておき、許容する • いくつかの問い合わせ例を見ましたが、 実装や設計によっては問い合わせが不要とできる（結果的に問い合わせしても 一緒）なケースは存在する ベストプラクティスを正しく理解すると問い合わせ自体減らせる 90 Kazuaki Ichino
91. #jawsug_tochigi #jawsug おまけ 91 Kazuaki Ichino
92. #jawsug_tochigi #jawsug • 生成 AI を活用した「AWS大喜利大会」 • よくばって大きく二つのコンテンツを用意しまし た a. 即興大喜利 「大喜利枠」としてお申し込みいただいた最大5名の オオギリストに、AWS に絡んだお題に回答いただき ます。 その審査員はなんと Amazon Bedrock を活用して作 成した「判定くん」！ 大喜利回答に自信のあるオオギリストは「大喜利 枠」として奮って応募ください。 生成 AI の審査員力を冷静沈着に見極めながら、要所 要所でツッコミたい方は「傾聴枠」でぜひ！ b. 2. みんなの生成AI画像大喜利 4つのテーマに沿った生成 AI による生成画像を事前 に募集しています。 会の後半でご紹介して楽しく談笑したいと思いま す。 6月6日に JAWS-UG 神戸でイベントやります 92 Kazuaki Ichino 2025-06-06（金） 19:00 〜 21:00 ＠中央区文化センター（会議室1002） https://jawsug-kobe.connpass.com/event/354076/
93. #jawsug_tochigi #jawsug やりたいことはこんな感じ 障害は忘れた頃にやってくる 「AWS Fault Injection Service」で 障害を食らってみよう（仮） AWS Fault Injection Service（AWS FIS）を使ったワークショップをやる予定 ※ただ JP Contents Hub の Workshop が動かなくて思案中…。 　V2 もあるけどデプロイに 2時間 かかるらしい… 7月にハンズオンイベント予定中 93 Kazuaki Ichino
94. #jawsug_tochigi #jawsug 94 Kazuaki Ichino おしまい