Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Search Engineer diving into Kubernetes
Search
Sashimimochi
October 29, 2024
Technology
1
130
Search Engineer diving into Kubernetes
エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/
Sashimimochi
October 29, 2024
Tweet
Share
More Decks by Sashimimochi
See All by Sashimimochi
GraphRAG: What I Thought I Knew (But Didn’t)
sashimimochi
1
390
Using GPTs from Local by Dify
sashimimochi
1
630
Max out Local LLM in Challenging Environments
sashimimochi
3
490
Search Engine for Frontend Engineer
sashimimochi
0
200
Start Vector Search with Solr
sashimimochi
1
1.1k
Other Decks in Technology
See All in Technology
Automatically generating types by running tests
sinsoku
1
410
AIエージェント開発における「攻めの品質改善」と「守りの品質保証」 / 2024.04.09 GPU UNITE 新年会 2025
smiyawaki0820
0
400
はてなの開発20年史と DevOpsの歩み / DevOpsDays Tokyo 2025 Keynote
daiksy
5
1.4k
DuckDB MCPサーバーを使ってAWSコストを分析させてみた / AWS cost analysis with DuckDB MCP server
masahirokawahara
0
480
やさしいMCP入門
minorun365
PRO
146
95k
MCP Documentation Server @AI Coding Meetup #1
yyoshiki41
2
2.6k
さくらの夕べ Debianナイト - さくらのVPS編
dictoss
0
180
クォータ監視、AWS Organizations環境でも楽勝です✌️
iwamot
PRO
1
230
Webアプリを Lambdaで動かすまでに考えること / How to implement monolithic Lambda Web Application
_kensh
7
1.2k
Amebaにおける Platform Engineeringの実践
kumorn5s
6
890
.mdc駆動ナレッジマネジメント/.mdc-driven knowledge management
yodakeisuke
24
11k
開発視点でAWS Signerを考えてみよう!! ~コード署名のその先へ~
masakiokuda
3
130
Featured
See All Featured
For a Future-Friendly Web
brad_frost
176
9.7k
The Pragmatic Product Professional
lauravandoore
33
6.5k
The Invisible Side of Design
smashingmag
299
50k
Rails Girls Zürich Keynote
gr2m
94
13k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
Building Applications with DynamoDB
mza
94
6.3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
13
660
A Modern Web Designer's Workflow
chriscoyier
693
190k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.1k
Testing 201, or: Great Expectations
jmmastey
42
7.4k
Transcript
検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58
自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります
全文検索エンジンは便利で強力! 3 沖縄の観光名所を知りたい
でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり +Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭
Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった
Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要
そこでSolr/Elastic Operatorよ! 7
簡単に構築するレシピが用意されてる! 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている!
たった4行で検索クラスターが!? 9 たったこれだけでSolrサーバー3台+Zookeeperサーバー3台のクラスターが組 めちゃう!
たった4行で検索クラスターが!? 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成!
もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC
• etc... 悩ましい運用上の課題が自動化できちゃうかも!?
その他にもメリットがいっぱい! 12 K8S親和性の高い他アプリケーションとの連携も容易に! 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる!
今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た!! 13
でも、Kubernetesはなん となく敷居が高くて... 14
そんなあなたのために、本書きました! 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう •
第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でSolrを動かそう(ローカル編) • 第6章:k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します!
そんなあなたのために、本書きました! 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します! • 第1章:Kubernetesはこわくない • 第2章:環境構築 • 第3章:Kubernetesを触ってみよう
• 第4章:k8s上にアプリケーションを作ろう • 第5章:ks8上でESを動かそう(ローカル編) • 第6章:k8s上でESを動かそう(Azure編) 鋭意 執筆中
まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門! Kubernetes×Solr/Elasticsearchはいいぞー!
参考文献 18 • 検索システムだって高可用性にしたい!SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud
• Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/