Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
適材適所
Search
saramune
July 13, 2024
Technology
160
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
適材適所
2024/07/13 JAWS-UG 岡山のLTスライドです
saramune
July 13, 2024
Transcript
27 slides
適材適所 古屋 啓介 2024年07月13日 JAWS-UG Okayama 懇親会LT
自己紹介 2 • 古屋 啓介 ◦ 株式会社kubell SRE部 ◦ JAWS-UG
SRE支部運営 ◦ Community Builder(2023〜) ◦ ドラム叩きます
2024年7月1日よりChatwork株式会社は、株式会社kubell(読み:クベル)に社名変更しました。 株式会社kubellは、誰もが使いやすく、社外のユーザーとも簡単につながることができる 日本最大級のビジネスチャット「Chatwork」を運営しています。 また、チャット経由で会計、労務、総務など様々なバックオフィス業務をアウトソースできる 「Chatwork アシスタント」などのBPaaSサービスを幅広く展開。 ビジネスチャットの会社から、BPaaSで「働く」を変えるプラットフォームを提供する会社へ事業領域を拡張します。
Chatworkとは 4 * Nielsen NetView 及びNielsen Mobile NetView Customized Report
2023年5月度調べ月次利用者(MAU:Monthly Active User)調査。 調査対象はChatwork、Microsoft Teams、Slack、LINE WORKS、Skypeを含む44サービスをChatwork株式会社(現 株式会社kubell)にて選定。 効率的に情報共有できる グループチャット 仕事の見える化ができる タスク管理 見落としがなくなる ファイル管理 いつでも会議ができる ビデオ/音声通話
Chatworkの基本機能・メッセージ検索 5
みんなだいすきアーキテクチャ図 6
みんなだいすきアーキテクチャ図 7
i3インスタンスとは 8 • 概要 ◦ 2017年末、Amazon Elasticsearch Service(当時)で利用可能に ◦ ローカルSSDとNVMe接続しておりディスクIOつよつよ
◦ EBSなしで固定のインスタンスストアが割り当てられる https://aws.amazon.com/jp/opensearch-service/pricing/
古屋は思った 9 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) 7年前のものだし Gravitonだともっとコスパいい? EBSもgp3あるし、 いけるんちゃう?
古屋は思った 10 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) EBSもgp3あるし、 いけるんちゃう? Graviton + EBSに変えてコスパあがったらうれしいな 7年前のものだし
Gravitonだともっとコスパいい?
やってみた 11 • 新規のクラスタ(r6g版)をスナップショットから復元
やってみた 12 • この時点で現行と差分が出るので、kafkaからデータ再投入
やってみた 13 • この時点で現行と差分が出るので、kafkaからデータ再投入 みんなだいすき冪等性!!!
やってみた 14 • これで新旧同じになった、はず
やってみた 15 • 検索リクエストを徐々に新クラスタにうつしていく
やってみた 16 • 検索リクエストを徐々に新クラスタにうつしていく みんなだいすきカナリアリリース!!!
ちょっとずつ... 17 5%...いける
ちょっとずつ... 18 5%...いける 10%...OK
ちょっとずつ... 19 5%...いける 10%...OK 30%...
エラー率上昇!!!
あかんあかんあかん戻す!!!
振り返り 22 • 何がだめだったの? ◦ CloudWatchを見るとThroughputThrottleが1に... ▪ 完全にディスクで詰まってますやん... • というか現行のIOパフォーマンスわからんかったの?
◦ 内蔵SSDだからメトリクスがない... • アーキテクチャレビューしてもらってた? ◦ AWSさんに相談はしていて、エイヤしかないか、という結論
そもそも 23 • OpenSearchのしくみ ◦ 検索結果をメモリでキャッシュ、なければディスクアクセス • 「メッセージ検索」の特性上キャッシュがききにくい ◦ 同じ内容で検索されることが少ないため
◦ すなわちほとんどディスクにアクセスがいく ◦ すなわちディスクIOの性能勝負になる
ということで 24 • i3さん、7年前だからとかいってごめんなさい
宣伝:Graviton化でちゃんと成功した事例 25 • EKSのEC2をGravitonにしたらめちゃくちゃよくなりました
教訓 26 • 用途にあったインスタンスタイプ選び、ダイジ ◦ 「用途」をちゃんと見極めましょう • 色々試しやすい仕組みづくりも、ダイジ ◦ 冪等性、カナリアリリースによって手間なく大きな怪我なく検証できた
働くをもっと楽しく、創造的に
More Decks by saramune
See All by saramune
EKS Auto Modeなにそれおいしいの?
saramune
0
230
self-hosted runnersでAWSコスト削減?
saramune
0
210
業務効率向上としての分割キーボード
saramune
0
270
インフラ観点で見るセキュリティ〜4Cモデルに倣って〜
saramune
0
180
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
930
週刊AWSキャッチアップ(2024/03/25週)
saramune
0
210
なんでもかんでもコンテナ化すればいいってもんでもないけど なんでもかんでもコンテナ化したらスッキリしました
saramune
2
520
ACKを活用して 使い捨てAWS検証環境を構築している話
saramune
0
1.6k
KubernetesとTerraformのセキュリティ/ガバナンス向上委員会 with OPA
saramune
2
1.9k
Other Decks in Technology
See All in Technology
あの日、見つかっていなかったらどうなっていたか
kazzpapa3
2
260
AI対話型分析を作成し、リリースするまでの話 / The Road to Release: Buiding AI Conversational Analytics
yappli_developers
0
170
E2E Test というハーネス — AI時代の自動テスト民主化
daishukojima
10
5.7k
PHPで家庭用ゲーム機の専用コントローラーをMIDIデバイスとして扱ってみる
wind111
0
150
こんなに変わった! AWSネットワークの常識
shotashiratori
16
10k
3文字略語に騙されない! 世界一わかりやすい『EDR』超入門
kamadamakoto
1
270
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
460
速くなるほど、深く考える AI時代のQAに学ぶ
kobayashiyorimitsu
0
260
Agent Routerで作るマルチテナント 推論基盤 #CNDW2026 / Building Multi-Tenant Inference Platform with Agent Router #CNDW2026
everpeace
3
250
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
160
SSFの現在地 ― CAEP/RISCからAI Identityへ
oidfj
0
480
属人化したISMS運用をGitHubとAIで仕組み化した1年間の記録
sioncojp
4
2.8k
Featured
See All Featured
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
990
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
540
The Curse of the Amulet
leimatthew05
4
17k
B2B Lead Gen: Tactics, Traps & Triumph
marketingsoph
1
300
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
Beyond borders and beyond the search box: How to win the global "messy middle" with AI-driven SEO
davidcarrasco
3
300
Statistics for Hackers
jakevdp
799
230k
Agile Leadership in an Agile Organization
kimpetersen
PRO
0
310
Believing is Seeing
oripsolob
1
280
BBQ
matthewcrist
90
10k
Faster Mobile Websites
deanohume
310
32k
Building Applications with DynamoDB
mza
96
7.3k