Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Search Engineer diving into Kubernetes

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for Sashimimochi Sashimimochi
October 29, 2024
Technology
320
1

Search Engineer diving into Kubernetes

エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/

Avatar for Sashimimochi

Sashimimochi

October 29, 2024

More Decks by Sashimimochi

See All by Sashimimochi
MCPでつなぐElasticsearchとLLM - 深夜の障害対応を楽にしたい / Bridging Elasticsearch and LLMs with MCP
Avatar for Sashimimochi sashimimochi
1
430
Alert on Call with LLM
Avatar for Sashimimochi sashimimochi
1
260
My AI Copilot for writing
Avatar for Sashimimochi sashimimochi
1
300
GraphRAG: What I Thought I Knew (But Didn’t)
Avatar for Sashimimochi sashimimochi
1
800
Using GPTs from Local by Dify
Avatar for Sashimimochi sashimimochi
1
940
Max out Local LLM in Challenging Environments
Avatar for Sashimimochi sashimimochi
3
640
Search Engine for Frontend Engineer
Avatar for Sashimimochi sashimimochi
0
290
Start Vector Search with Solr
Avatar for Sashimimochi sashimimochi
1
1.2k

Other Decks in Technology

See All in Technology
インフラ寄りSREでも 開発に踏み出せる〜境界を越えてユーザー体験に向き合いたい〜
Avatar for SansanTech sansantech
PRO
2
3.7k
公式ドキュメントの歩き方etc
Avatar for あべ coco_se
0
100
なぜ私たちのSREプラクティスはなかなか機能しないのか 〜システムより先に組織を見る〜 / Why our SRE practices aren't really working
Avatar for VTRyo vtryo
3
3.6k
CIで使うClaude
Avatar for TomoyaIwata iwatatomoya
0
250
CSに"SLO"は要らない、経営層に"99.9%"は伝わらない - SREを全社に"翻訳"する3原則
Avatar for サイバーセキュリティクラウド cscengineer
PRO
1
4.5k
地域 SRE コミュニティ最前線 / SRE NEXT 2026 Discussion Night Track C
Avatar for Masahiro Yoshizawa muziyoshiz
0
210
DatabricksにおけるMCPソリューション
Avatar for Takaaki Yayoi taka_aki
1
240
Amazon EVS で VCF 9.0 / 9.1 のサポート開始まとめ
Avatar for mtoyoda mtoyoda
0
290
KiCAD講習会②
Avatar for TUTものづくりサークル tutcreators
0
110
Oracle Exadata Database Service on Cloud@Customer X11M (ExaDB-C@C) サービス概要
Avatar for oracle4engineer oracle4engineer
PRO
2
8.4k
環境凍結という Toil を倒す -セルフサービス型 Ephemeral テスト環境の 設計と実践
Avatar for Yuji Shirai shirouz
1
2.3k
GuardrailからGovernanceへ～AIエージェント運用の次の課題～
Avatar for 吉岡駿 sbspsy
2
270

Featured

See All Featured
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.7k
Thoughts on Productivity
Avatar for Jon Yablonski jonyablonski
76
5.2k
We Analyzed 250 Million AI Search Results: Here's What I Found
Avatar for Josh Blyskal joshbly
1
1.5k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
Avatar for Morgane Peng morganepeng
133
19k
SEO in 2025: How to Prepare for the Future of Search
Avatar for Michael King ipullrank
3
3.6k
Building Adaptive Systems
Avatar for Chris Keathley keathley
44
3.1k
Marketing Yourself as an Engineer | Alaka | Gurzu
Avatar for Gurzu gurzu
0
260
Statistics for Hackers
Avatar for Jake VanderPlas jakevdp
799
230k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
Avatar for Ines Montani inesmontani
PRO
3
3.6k
Dealing with People You Can't Stand - Big Design 2015
Avatar for Cassini Nazir cassininazir
367
27k
[RailsConf 2023] Rails as a piece of cake
Avatar for Vladimir Dementyev palkan
59
6.7k
Claude Code のすすめ
Avatar for schroneko schroneko
67
230k

Transcript

  1. 検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

  2. 自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります

  3. 全文検索エンジンは便利で強力！ 3 沖縄の観光名所を知りたい

  4. でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり ＋Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭

  5. Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった

  6. Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要

  7. そこでSolr/Elastic Operatorよ！ 7

  8. 簡単に構築するレシピが用意されてる！ 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている！

  9. たった4行で検索クラスターが！？ 9 たったこれだけでSolrサーバー3台＋Zookeeperサーバー3台のクラスターが組 めちゃう！

  10. たった4行で検索クラスターが！？ 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成！

  11. もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC

    • etc... 悩ましい運用上の課題が自動化できちゃうかも！？

  12. その他にもメリットがいっぱい！ 12 K8S親和性の高い他アプリケーションとの連携も容易に！ 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる！

  13. 今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た！！ 13

  14. でも、Kubernetesはなん となく敷居が高くて... 14

  15. そんなあなたのために、本書きました！ 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう •

    第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でSolrを動かそう(ローカル編) • 第6章：k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します！

  16. そんなあなたのために、本書きました！ 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します！ • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう

    • 第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でESを動かそう(ローカル編) • 第6章：k8s上でESを動かそう(Azure編) 鋭意 執筆中

  17. まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門！ Kubernetes×Solr/Elasticsearchはいいぞー！

  18. 参考文献 18 • 検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud

    • Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/