Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
適材適所
Search
saramune
July 13, 2024
Technology
1
110
適材適所
2024/07/13 JAWS-UG 岡山のLTスライドです
saramune
July 13, 2024
Tweet
Share
More Decks by saramune
See All by saramune
EKS Auto Modeなにそれおいしいの?
saramune
0
150
self-hosted runnersでAWSコスト削減?
saramune
0
150
業務効率向上としての分割キーボード
saramune
0
190
インフラ観点で見るセキュリティ〜4Cモデルに倣って〜
saramune
0
110
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
670
週刊AWSキャッチアップ(2024/03/25週)
saramune
0
140
なんでもかんでもコンテナ化すればいいってもんでもないけど なんでもかんでもコンテナ化したらスッキリしました
saramune
2
420
ACKを活用して 使い捨てAWS検証環境を構築している話
saramune
0
1.3k
KubernetesとTerraformのセキュリティ/ガバナンス向上委員会 with OPA
saramune
2
1.6k
Other Decks in Technology
See All in Technology
プロポーザルのコツ ~ Kaigi on Rails 2025 初参加で3名の登壇を実現 ~
naro143
1
220
「れきちず」のこれまでとこれから - 誰にでもわかりやすい歴史地図を目指して / FOSS4G 2025 Japan
hjmkth
1
300
2025-10-09_プロジェクトマネージャーAIチャンス
taukami
0
130
サイバーエージェント流クラウドコスト削減施策「みんなで金塊堀太郎」
kurochan
2
1.1k
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
43k
ガバメントクラウド(AWS)へのデータ移行戦略の立て方【虎の巻】 / 20251011 Mitsutosi Matsuo
shift_evolve
PRO
2
190
OCI Network Firewall 概要
oracle4engineer
PRO
2
7.9k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
12
80k
Node.js 2025: What's new and what's next
ruyadorno
0
160
AIツールでどこまでデザインを忠実に実装できるのか
oikon48
6
3.3k
なぜAWSを活かしきれないのか?技術と組織への処方箋
nrinetcom
PRO
4
830
綺麗なデータマートをつくろう_データ整備を前向きに考える会 / Let's create clean data mart
brainpadpr
3
500
Featured
See All Featured
Navigating Team Friction
lara
190
15k
GraphQLとの向き合い方2022年版
quramy
49
14k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
The Language of Interfaces
destraynor
162
25k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
Embracing the Ebb and Flow
colly
88
4.8k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
RailsConf 2023
tenderlove
30
1.2k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Optimising Largest Contentful Paint
csswizardry
37
3.5k
How STYLIGHT went responsive
nonsquared
100
5.8k
Transcript
適材適所 古屋 啓介 2024年07月13日 JAWS-UG Okayama 懇親会LT
自己紹介 2 • 古屋 啓介 ◦ 株式会社kubell SRE部 ◦ JAWS-UG
SRE支部運営 ◦ Community Builder(2023〜) ◦ ドラム叩きます
2024年7月1日よりChatwork株式会社は、株式会社kubell(読み:クベル)に社名変更しました。 株式会社kubellは、誰もが使いやすく、社外のユーザーとも簡単につながることができる 日本最大級のビジネスチャット「Chatwork」を運営しています。 また、チャット経由で会計、労務、総務など様々なバックオフィス業務をアウトソースできる 「Chatwork アシスタント」などのBPaaSサービスを幅広く展開。 ビジネスチャットの会社から、BPaaSで「働く」を変えるプラットフォームを提供する会社へ事業領域を拡張します。
Chatworkとは 4 * Nielsen NetView 及びNielsen Mobile NetView Customized Report
2023年5月度調べ月次利用者(MAU:Monthly Active User)調査。 調査対象はChatwork、Microsoft Teams、Slack、LINE WORKS、Skypeを含む44サービスをChatwork株式会社(現 株式会社kubell)にて選定。 効率的に情報共有できる グループチャット 仕事の見える化ができる タスク管理 見落としがなくなる ファイル管理 いつでも会議ができる ビデオ/音声通話
Chatworkの基本機能・メッセージ検索 5
みんなだいすきアーキテクチャ図 6
みんなだいすきアーキテクチャ図 7
i3インスタンスとは 8 • 概要 ◦ 2017年末、Amazon Elasticsearch Service(当時)で利用可能に ◦ ローカルSSDとNVMe接続しておりディスクIOつよつよ
◦ EBSなしで固定のインスタンスストアが割り当てられる https://aws.amazon.com/jp/opensearch-service/pricing/
古屋は思った 9 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) 7年前のものだし Gravitonだともっとコスパいい? EBSもgp3あるし、 いけるんちゃう?
古屋は思った 10 CPU・メモリが必要だから2xlargeにしてるけど SSDモッタイナイナー(1.9TBもいらない) EBSもgp3あるし、 いけるんちゃう? Graviton + EBSに変えてコスパあがったらうれしいな 7年前のものだし
Gravitonだともっとコスパいい?
やってみた 11 • 新規のクラスタ(r6g版)をスナップショットから復元
やってみた 12 • この時点で現行と差分が出るので、kafkaからデータ再投入
やってみた 13 • この時点で現行と差分が出るので、kafkaからデータ再投入 みんなだいすき冪等性!!!
やってみた 14 • これで新旧同じになった、はず
やってみた 15 • 検索リクエストを徐々に新クラスタにうつしていく
やってみた 16 • 検索リクエストを徐々に新クラスタにうつしていく みんなだいすきカナリアリリース!!!
ちょっとずつ... 17 5%...いける
ちょっとずつ... 18 5%...いける 10%...OK
ちょっとずつ... 19 5%...いける 10%...OK 30%...
エラー率上昇!!!
あかんあかんあかん戻す!!!
振り返り 22 • 何がだめだったの? ◦ CloudWatchを見るとThroughputThrottleが1に... ▪ 完全にディスクで詰まってますやん... • というか現行のIOパフォーマンスわからんかったの?
◦ 内蔵SSDだからメトリクスがない... • アーキテクチャレビューしてもらってた? ◦ AWSさんに相談はしていて、エイヤしかないか、という結論
そもそも 23 • OpenSearchのしくみ ◦ 検索結果をメモリでキャッシュ、なければディスクアクセス • 「メッセージ検索」の特性上キャッシュがききにくい ◦ 同じ内容で検索されることが少ないため
◦ すなわちほとんどディスクにアクセスがいく ◦ すなわちディスクIOの性能勝負になる
ということで 24 • i3さん、7年前だからとかいってごめんなさい
宣伝:Graviton化でちゃんと成功した事例 25 • EKSのEC2をGravitonにしたらめちゃくちゃよくなりました
教訓 26 • 用途にあったインスタンスタイプ選び、ダイジ ◦ 「用途」をちゃんと見極めましょう • 色々試しやすい仕組みづくりも、ダイジ ◦ 冪等性、カナリアリリースによって手間なく大きな怪我なく検証できた
働くをもっと楽しく、創造的に