Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
適材適所
Search
saramune
July 13, 2024
Technology
1
110
適材適所
2024/07/13 JAWS-UG 岡山のLTスライドです
saramune
July 13, 2024
Tweet
Share
More Decks by saramune
See All by saramune
EKS Auto Modeなにそれおいしいの?
saramune
0
140
self-hosted runnersでAWSコスト削減?
saramune
0
140
業務効率向上としての分割キーボード
saramune
0
180
インフラ観点で見るセキュリティ〜4Cモデルに倣って〜
saramune
0
100
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
670
週刊AWSキャッチアップ(2024/03/25週)
saramune
0
140
なんでもかんでもコンテナ化すればいいってもんでもないけど なんでもかんでもコンテナ化したらスッキリしました
saramune
2
420
ACKを活用して 使い捨てAWS検証環境を構築している話
saramune
0
1.3k
KubernetesとTerraformのセキュリティ/ガバナンス向上委員会 with OPA
saramune
2
1.6k
Other Decks in Technology
See All in Technology
Sidekiq その前に:Webアプリケーションにおける非同期ジョブ設計原則
morihirok
17
7k
「Verify with Wallet API」を アプリに導入するために
hinakko
1
200
PythonとLLMで挑む、 4コマ漫画の構造化データ化
esuji5
1
120
SoccerNet GSRの紹介と技術応用:選手視点映像を提供するサッカー作戦盤ツール
mixi_engineers
PRO
1
160
AIが書いたコードをAIが検証する!自律的なモバイルアプリ開発の実現
henteko
1
240
定期的な価値提供だけじゃない、スクラムが導くチームの共創化 / 20251004 Naoki Takahashi
shift_evolve
PRO
3
220
GA technologiesでのAI-Readyの取り組み@DataOps Night
yuto16
0
250
BirdCLEF+2025 Noir 5位解法紹介
myso
0
180
about #74462 go/token#FileSet
tomtwinkle
1
270
コンテキストエンジニアリングとは? 考え方と応用方法
findy_eventslides
4
860
From Prompt to Product @ How to Web 2025, Bucharest, Romania
janwerner
0
110
動画データのポテンシャルを引き出す! Databricks と AI活用への奮闘記(現在進行形)
databricksjapan
0
130
Featured
See All Featured
A designer walks into a library…
pauljervisheath
208
24k
The Language of Interfaces
destraynor
162
25k
Automating Front-end Workflow
addyosmani
1371
200k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
840
We Have a Design System, Now What?
morganepeng
53
7.8k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Typedesign – Prime Four
hannesfritz
42
2.8k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Transcript
適材適所 古屋 啓介 2024年07月13日 JAWS-UG Okayama 懇親会LT
自己紹介 2 • 古屋 啓介 ◦ 株式会社kubell SRE部 ◦ JAWS-UG
SRE支部運営 ◦ Community Builder(2023〜) ◦ ドラム叩きます
2024年7月1日よりChatwork株式会社は、株式会社kubell(読み:クベル)に社名変更しました。 株式会社kubellは、誰もが使いやすく、社外のユーザーとも簡単につながることができる 日本最大級のビジネスチャット「Chatwork」を運営しています。 また、チャット経由で会計、労務、総務など様々なバックオフィス業務をアウトソースできる 「Chatwork アシスタント」などのBPaaSサービスを幅広く展開。 ビジネスチャットの会社から、BPaaSで「働く」を変えるプラットフォームを提供する会社へ事業領域を拡張します。
Chatworkとは 4 * Nielsen NetView 及びNielsen Mobile NetView Customized Report
2023年5月度調べ月次利用者(MAU:Monthly Active User)調査。 調査対象はChatwork、Microsoft Teams、Slack、LINE WORKS、Skypeを含む44サービスをChatwork株式会社(現 株式会社kubell)にて選定。 効率的に情報共有できる グループチャット 仕事の見える化ができる タスク管理 見落としがなくなる ファイル管理 いつでも会議ができる ビデオ/音声通話
Chatworkの基本機能・メッセージ検索 5
みんなだいすきアーキテクチャ図 6
みんなだいすきアーキテクチャ図 7
i3インスタンスとは 8 • 概要 ◦ 2017年末、Amazon Elasticsearch Service(当時)で利用可能に ◦ ローカルSSDとNVMe接続しておりディスクIOつよつよ
◦ EBSなしで固定のインスタンスストアが割り当てられる https://aws.amazon.com/jp/opensearch-service/pricing/
古屋は思った 9 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) 7年前のものだし Gravitonだともっとコスパいい? EBSもgp3あるし、 いけるんちゃう?
古屋は思った 10 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) EBSもgp3あるし、 いけるんちゃう? Graviton + EBSに変えてコスパあがったらうれしいな 7年前のものだし
Gravitonだともっとコスパいい?
やってみた 11 • 新規のクラスタ(r6g版)をスナップショットから復元
やってみた 12 • この時点で現行と差分が出るので、kafkaからデータ再投入
やってみた 13 • この時点で現行と差分が出るので、kafkaからデータ再投入 みんなだいすき冪等性!!!
やってみた 14 • これで新旧同じになった、はず
やってみた 15 • 検索リクエストを徐々に新クラスタにうつしていく
やってみた 16 • 検索リクエストを徐々に新クラスタにうつしていく みんなだいすきカナリアリリース!!!
ちょっとずつ... 17 5%...いける
ちょっとずつ... 18 5%...いける 10%...OK
ちょっとずつ... 19 5%...いける 10%...OK 30%...
エラー率上昇!!!
あかんあかんあかん戻す!!!
振り返り 22 • 何がだめだったの? ◦ CloudWatchを見るとThroughputThrottleが1に... ▪ 完全にディスクで詰まってますやん... • というか現行のIOパフォーマンスわからんかったの?
◦ 内蔵SSDだからメトリクスがない... • アーキテクチャレビューしてもらってた? ◦ AWSさんに相談はしていて、エイヤしかないか、という結論
そもそも 23 • OpenSearchのしくみ ◦ 検索結果をメモリでキャッシュ、なければディスクアクセス • 「メッセージ検索」の特性上キャッシュがききにくい ◦ 同じ内容で検索されることが少ないため
◦ すなわちほとんどディスクにアクセスがいく ◦ すなわちディスクIOの性能勝負になる
ということで 24 • i3さん、7年前だからとかいってごめんなさい
宣伝:Graviton化でちゃんと成功した事例 25 • EKSのEC2をGravitonにしたらめちゃくちゃよくなりました
教訓 26 • 用途にあったインスタンスタイプ選び、ダイジ ◦ 「用途」をちゃんと見極めましょう • 色々試しやすい仕組みづくりも、ダイジ ◦ 冪等性、カナリアリリースによって手間なく大きな怪我なく検証できた
働くをもっと楽しく、創造的に