インフラとバックエンドとフロントエンドをくまなく調べて遅いアプリを早くした件

NW-JAWS #13 ～re:Inventに行く前に振り返り～ で話したLTです。
https://jawsug-nw.connpass.com/event/333031/

Transcript

2. 初手謝罪 初手謝罪 原因はAWSではありませんでした. . . 。 原因はAWSではありませんでした. . . 。 NW-JAWSなのにすみません。 NW-JAWSなのにすみません。
3. 　名 前 Yu Otsubo 　所 属 KDDIアジャイル開発センター(KAG) 　職種 ゆるふわエンジニア 　SNS @meitante1conan 　その他 妻と二人暮らしでしたが 最近犬をお迎えしました！ なので最近はエンジニアリングのつぶやき少なめ 自 己 紹 介 00 00
4. ど ん な 問 題 が 発 生 し た の ？ 1 . C l o u d F r o n t が 返 す 謎 の エ ラ ー 2 . C l o u d W a t c h A p p l i c a t i o n S i g n a l s で ボ ト ル ネ ッ ク を 調 べ る 3 . ご ん . . . お ま え だ っ た の か 🦊 4 . 最 後 に 5 . 本 日 の ア ジ ェ ン ダ
5. ど ん な 問 題 が 発 生 ど ん な 問 題 が 発 生 し た の ？ し た の ？ ファイルのアップロードに失敗するよ. . . . ? 01 01
6. ど ん な ア プ リ を 開 発 し て い る の ？ PDFとかパワポのファイルをアップロードして 、 非常に重たい処理並列で実行、結果を画面に表示させる 業務アプリケーションです。 ど ん な 問 題 が 発 生 し た の ？ 01 01 この場で詳細話せないのが悔しい. . . 。
7. フ ァ イ ル ア ッ プ ロ ー ド が 待 っ て も 完 了 し な い よ ！ 開発チームで確認したところ確かにAWS環境で再現。 ただし、ローカルでは発生しない 。 「ペロッこれはインフラ起因！」 ど ん な 問 題 が 発 生 し た の ？ 01 01
8. 01 01 簡 単 な 構 成 を お さ ら い し ま し ょ う ど ん な 問 題 が 発 生 し た の ？ ちょっと複雑な構成ですが、追って行きましょう！ みなさんもどこが原因か想像しながらお聞きください！
9. 01 01 ど ん な 問 題 が 発 生 し た の ？ CloudFront Cl oudFrontでフロントエンドアプリケーションを配信 ビヘイビアでバックエンドAPI にルーティングしている
10. 01 01 ど ん な 問 題 が 発 生 し た の ？ フロントはReact フロントエンドはReactで作成。 SPAで動きます。
11. 01 01 ど ん な 問 題 が 発 生 し た の ？ S3でホスティング Cl oudFront + S3のよくある構成
12. 01 01 ど ん な 問 題 が 発 生 し た の ？ ALB FastAPI へのアクセスのフロント面です。 カスタムヘッダー+ マネージドプレフィックスリストでセキュアに
13. 01 01 ど ん な 問 題 が 発 生 し た の ？ バックエンドは FastAPI FastAPI はルーティングを主に実施。 Uvi corn のお陰で軽量爆速！ 重たい処理は後段のWorkerが実施します。
14. 01 01 ど ん な 問 題 が 発 生 し た の ？ ECS Fargate 特に取り立てて話すことなし
15. 01 01 ど ん な 問 題 が 発 生 し た の ？ RedisでWorkerへ Job登録 Cel eryのBroker/Resul t Backendとして利用しています。 Resul t Backendを兼ねることができるので地味に便利。
16. 01 01 ど ん な 問 題 が 発 生 し た の ？ CeleryでWorker構築 重たい処理はこちらで Cel eryのコーディング体験半端なくいいですよ！！！ 普通のPython書いたら即Worker化できます。おすすめ。 一つあたりのWorker処理はとても小さいのでThread Pool を Gevent で設定
17. CloudFrontが返す謎の CloudFrontが返す謎の エラー エラー どうやらCl oudFrontのバックエンドがタイムアウトし ているらしい. . . 。つまり. . . ? 02 02
18. フ ァ イ ル が 重 た い か ら . . . ? コ ン テ ナ が 小 さ い か ら . . . ? Devtool sでAPI のレスポンスを見てみよう. . . 「ん！？」 C l o u d F r o n t が 返 す 謎 の エ ラ ー 02 02
19. Cl oudFr ont が返す 謎のエラー Cl oudFrontがエラーを吐いている！ 02 02 Error from cloudfrontが出ている！！！！
20. Cl oudFr ont が返す 謎のエラー Cl oudFrontがエラーを吐いている！ 02 02 でも特にアプリのログにエラーは出てない。。。 なにかタイムアウトに引っかかっている？ インフラ臭いですね。
21. 02 02 C l o u d F r o n t が 返 す 謎 の エ ラ ー CloudFront Cl o u d F r o n t にはバックエンドの タイムアウトがある。 最大60秒 これですね. . . . 。
22. Cl oudFr ont が返す 謎のエラー ALBの設定を見直してみる 02 02 ALB 一方、AL Bにもタイムアウトはあるが、 最大4 0 0 0 秒 に伸ばしても変わらず。 AL Bのヘルスチェックも問題ない. . .
23. 何かがとても遅くて 何かがとても遅くて C l o u d F r o n t で 6 0 秒 タ イ ム ア ウ ト C l o u d F r o n t で 6 0 秒 タ イ ム ア ウ ト ボトルネック調査！！ ボトルネック調査！！ Cl oudFr ont が返す 謎のエラー 02 02 私はストレートネック 私はストレートネック
24. CloudWatch CloudWatch Application Signalsで Application Signalsで ボトルネックを調べる ボトルネックを調べる おや. . . ?他のAPI も遅いぞ. . . ? つまり. . . ? 03 03
25. Cl oudWat c h Appl i c at i on Si gnal s でボトルネックを調べる 03 03 アプリケーション全体のトレース するときに便利 OpenTel emetry(OTEL) を活用してAWSのアプリケーションモニタリングを自動化する 新しいサービス Pythonは自動計装に対応！
26. ア ッ プ ロ ー ド だ け が タ イ ム ア ウ ト す る と 思 っ た ら 全 A P I が 遅 い . . . ! ! ! C l o u d W a t c h A p p l i c a t i o n S i g n a l s で ボ ト ル ネ ッ ク を 調 べ る 03 03 単純なstatusしか返さない heal thcheckのAPI ですら数秒 かかっている。 明らかに遅い。
27. 逆 に r e d i s / w o r k e r の ス ピ ー ド は 早 い 。 ということは被疑箇所はFastAPI だ！ こうして調査の旅はアプリケーション内部へ進んだ. . . C l o u d W a t c h A p p l i c a t i o n S i g n a l s で ボ ト ル ネ ッ ク を 調 べ る 03 03
28. ごん...おまえだったのか 🦊 ごん...おまえだったのか 🦊 私のごんは栗を持ってこず、バグを持ってきました。 04 04
29. 改めて謝罪 改めて謝罪 原因はAWSではありませんでした. . . 。 原因はAWSではありませんでした. . . 。 NW-JAWSなのにすみません。 NW-JAWSなのにすみません。
30. ごん. . . おまえだったのか 🦊 Gevent、お前だったのか Gevent、お前だったのか 04 04 ジーイベント ジーイベント
31. G e v e n t と は な に か ？ Geventは、Pythonで非同期プログラミングを実現するためのネットワークライブラリで、 Greenl etという軽量な協調的マルチスレッド(コルーチン)を使用します。 ごん. . . おまえだったのか 🦊 04 04 I /O待ちの多い処理では効率的に処理をこなせます。(CPU負荷の低いやつ) GeventはCel eryのスレッドプールで選択可能です。 ジーイベント
32. G e v e n t と は な に か ？ geventは、Pythonで非同期プログラミングを実現するためのネットワークライブラリで、 greenl etという軽量な協調的マルチスレッド(コルーチン)を使用します。 ごん. . . おまえだったのか 🦊 04 04 要は小さい処理なら Celery Workerを高密度にできますよ というもの
33. G e v e n t と は な に か ？ geventは、Pythonで非同期プログラミングを実現するためのネットワークライブラリで、 greenl etという軽量な協調的マルチスレッド(コルーチン)を使用します。 ごん. . . おまえだったのか 🦊 04 04 要は小さい処理なら Celery Workerを高密度にできますよ というもの コスト削減のため コスト削減のため 導入してました 導入してました
34. ご ん . . . お ま え だ っ た の か 🦊 04 04 Cel ery Workerの高密度化のために導入したGevent
35. ご ん . . . お ま え だ っ た の か 🦊 04 04 Cel ery Workerの高密度化のために導入したGevent FastAPI のコンテナにもpi pでGeventインストール
36. ご ん . . . お ま え だ っ た の か 🦊 04 04 Cel ery Workerの高密度化のために導入したGevent FastAPI のコンテナにもpi pでGeventインストール Geventのmonkey. patch_al l がライブラリ起因で適用 非同期・Threadi ngの標準ライブラリがgreenl et処理に置き換え
37. ご ん . . . お ま え だ っ た の か 🦊 04 04 Cel ery Workerの高密度化のために導入したGevent FastAPI のコンテナにもpi pでGeventインストール Geventのmonkey. patch_al l がライブラリ起因で適用 非同期・Threadi ngの標準ライブラリがgreenl et処理に置き換え Uvi cornと競合！！　イベントループに変な形で割り込み！ 💦 🧨
38. ご ん . . . お ま え だ っ た の か 🦊 04 04 Cel ery Workerの高密度化のために導入したGevent FastAPI のコンテナにもpi pでGeventインストール Geventのmonkey. patch_al l がライブラリ起因で適用 非同期・Threadi ngの標準ライブラリがgreenl et処理に置き換え Uvi cornと競合！！　イベントループに変な形で割り込み！ Issueも上がっていました。
39. ご ん . . . お ま え だ っ た の か 🦊 04 04 Cel ery Workerの高密度化のために導入したGevent FastAPI のコンテナにもGeventのpi pでインストール Geventのmonkey. patch_al l がライブラリ起因で適用 非同期・Threadi ngの標準ライブラリがgreenl et処理に置き換え Uvi cornと競合！！　イベントループに変な形で割り込み！
40. ごん...おまえだったのか 🦊 04 04
41. ごん...おまえだったのか 🦊 04 04
42. 解 決 方 法 Dockerfil eを２つに分けて それぞれ geventあり geventなし で作成した。 たったこれだけ. ..。 ごん...おまえだったのか 🦊 04 04 ※細かい話ですが、MacだとGreenl etの動きがまたちょっと動きが違うようで、ローカルだと再現しなかったようです。
43. 原 因 わ か ら ず 夢 で デ バ ッ グ 夜遅くまで調査して、 それでもわからなくて、 悔しくて、 寝ながらデバッグして、 朝起きてperpl exityに聞いて 解決。 ごん...おまえだったのか 🦊 04 04 喜びすぎて変なタイポしてますね。 喜びすぎて変なタイポしてますね。
44. 最 後 に 05 05 難しいトラブルシュートは、アプリインフラ両方を 行ったり来たりして調べるべし。 それぞれに原因がありそうで、調査投げてしまうと 時間がかかってしまう！！
45. 最 後 に 05 05 難しいトラブルシュートは、アプリインフラ両方を 行ったり来たりして調べるべし。 それぞれに原因がありそうで、調査投げてしまうと 時間がかかってしまう！！
46. 最 後 に 05 05 難しいトラブルシュートは、アプリインフラ両方を 行ったり来たりして調べるべし。 それぞれに原因がありそうで、調査投げてしまうと 時間がかかってしまう！！ なろう！フルスタックエンジニア なろう！フルスタックエンジニア なろう！フルスタックエンジニア 私も精進します。。。
47. 最 後 に 05 05
48. 最 後 に 05 05 ちょっと ちょっと ちょっと だいぶ 多少
49. T H A N K Y O U T H A N K Y O U ご清聴ありがとうございました。 ご清聴ありがとうございました。