Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Search Engineer diving into Kubernetes

Avatar for Sashimimochi Sashimimochi
October 29, 2024
Technology
1
190

Search Engineer diving into Kubernetes

エンジニア達の「完全に理解した」Talk #58 で登壇したときのスライドです。
https://easy2.connpass.com/event/332077/

Avatar for Sashimimochi

Sashimimochi

October 29, 2024
Tweet

More Decks by Sashimimochi

See All by Sashimimochi
My AI Copilot for writing
Avatar for Sashimimochi sashimimochi
1
140
GraphRAG: What I Thought I Knew (But Didn’t)
Avatar for Sashimimochi sashimimochi
1
550
Using GPTs from Local by Dify
Avatar for Sashimimochi sashimimochi
1
800
Max out Local LLM in Challenging Environments
Avatar for Sashimimochi sashimimochi
3
530
Search Engine for Frontend Engineer
Avatar for Sashimimochi sashimimochi
0
220
Start Vector Search with Solr
Avatar for Sashimimochi sashimimochi
1
1.1k

Other Decks in Technology

See All in Technology
Create Ruby native extension gem with Go
Avatar for sue445 sue445
0
130
Platform開発が先行する Platform Engineeringの違和感
Avatar for KintoTech_Dev kintotechdev
4
590
テストを軸にした生き残り術
Avatar for KNOWLEDGE WORK / 株式会社ナレッジワーク kworkdev
PRO
0
220
会社紹介資料 / Sansan Company Profile
Avatar for Sansan, Inc. sansan33
PRO
7
380k
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
Avatar for pei0804 pei0804
1
200
実践！カスタムインストラクション＆スラッシュコマンド
Avatar for puku0x puku0x
0
550
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
Avatar for sh_fk2 sh_fk2
3
280
dbt開発 with Claude Codeのためのガードレール設計
Avatar for 10xinc 10xinc
2
1.3k
測りにくい成果を測る — BtoB SaaSにおける効果検証への挑戦 / Shirokane Kougyou vol 20
Avatar for Sansan R&D sansan_randd
1
110
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
Avatar for you（@youtoy） you
PRO
0
130
LLM時代のパフォーマンスチューニング：MongoDB運用で試したコンテキスト活用の工夫
Avatar for ishikawa-pro ishikawa_pro
0
170
スクラムガイドに載っていないスクラムのはじめかた - チームでスクラムをはじめるときに知っておきたい勘所を集めてみました！ - / How to start Scrum that is not written in the Scrum Guide 2nd
Avatar for TAKAKING22 takaking22
2
220

Featured

See All Featured
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
54
11k
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
3
63
GraphQLの誤解/rethinking-graphql
Avatar for sonatard sonatard
72
11k
Intergalactic Javascript Robots from Outer Space
Avatar for Vicent Martí tanoku
272
27k
Being A Developer After 40
Avatar for Adrian Kosmaczewski akosma
90
590k
The Illustrated Children's Guide to Kubernetes
Avatar for Chris Short chrisshort
48
50k
Unsuck your backbone
Avatar for Amy Palamountain ammeep
671
58k
The Success of Rails: Ensuring Growth for the Next 100 Years
Avatar for Eileen M. Uchitelle eileencodes
46
7.6k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
Avatar for Rebecca Miller-Webster rmw
35
3.1k
The Language of Interfaces
Avatar for Des Traynor destraynor
161
25k
RailsConf 2023
Avatar for Aaron Patterson tenderlove
30
1.2k
Large-scale JavaScript Application Architecture
Avatar for Addy Osmani addyosmani
513
110k

Transcript

  1. 検索エンジニアK8S に入門する さしみもち 2024/10/29【オンライン】エンジニア達の「完全に理解した」 Talk#58

  2. 自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、大規模システムを楽に運用 する方法に興味があります

  3. 全文検索エンジンは便利で強力！ 3 沖縄の観光名所を知りたい

  4. でも、検索クラスターの構築/運用ってしんどいよね 4 冗長化のためには複数台必要 オーケストレーションを機能させるに はノードにロールを定義する必要あり ＋Solrの場合はZookeeperも必要 などなど、初期構築だけでも一苦労😭

  5. Docker/Kubernetesの登場で敷居は下がったけど... 5 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる シングルノードの構築はかなり楽になった

  6. Docker/Kubernetesの登場で敷居は下がったけど... 6 ⭕アプリケーションのインストールは コンテナイメージに集約できた ⭕Pod単位でのローリングアップ デートや自動復旧はできる ❌Statefulなアプリケーションは扱いが難しい ❌検索エンジンクラスターとして機能させるにはまだ人手が必要

  7. そこでSolr/Elastic Operatorよ！ 7

  8. 簡単に構築するレシピが用意されてる！ 8 https://solr.apache.org/operator/ https://www.elastic.co/jp/elastic-cloud-kubernetes Solr Operator Elastic Operator それぞれ専用のHelm Chartが公式から出ている！

  9. たった4行で検索クラスターが！？ 9 たったこれだけでSolrサーバー3台＋Zookeeperサーバー3台のクラスターが組 めちゃう！

  10. たった4行で検索クラスターが！？ 10 Elasticsearchもほぼ同様のシンプルさで検索エンジンクラスターが完成！

  11. もちろんKubernetesの恩恵も受けられる 11 • オートスケーリング • Podの自動復旧 • ローリングアップデート • IaC

    • etc... 悩ましい運用上の課題が自動化できちゃうかも！？

  12. その他にもメリットがいっぱい！ 12 K8S親和性の高い他アプリケーションとの連携も容易に！ 保守運用に欠かせないメトリクスやログの収集もK8S上で 動かせる！

  13. 今こそ、検索エンジニアも Kubernetesを学ぶべきと きが来た！！ 13

  14. でも、Kubernetesはなん となく敷居が高くて... 14

  15. そんなあなたのために、本書きました！ 15 https://techbookfest.org/product/1qmwHdDEFeDXzGsNn0TB5h • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう •

    第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でSolrを動かそう(ローカル編) • 第6章：k8s上でSolrを動かそう(GCP編) 技術書典17で頒布します！

  16. そんなあなたのために、本書きました！ 16 https://techbookfest.org/product/wvVL92XBaqw9v2hBgi4Rh8 技術書典17で頒布します！ • 第1章：Kubernetesはこわくない • 第2章：環境構築 • 第3章：Kubernetesを触ってみよう

    • 第4章：k8s上にアプリケーションを作ろう • 第5章：ks8上でESを動かそう(ローカル編) • 第6章：k8s上でESを動かそう(Azure編) 鋭意 執筆中

  17. まとめ 17 👍たった4行で、検索クラスターが組める!! 👍Kubernetesの恩恵も受けられる!! 👍他のアプリケーションとの連携も自然に!! Let’s Kubernetes入門！ Kubernetes×Solr/Elasticsearchはいいぞー！

  18. 参考文献 18 • 検索システムだって高可用性にしたい！SolrCloudを用いた高可用性構成 の紹介 - ZOZO TECH BLOG https://techblog.zozo.com/entry/solr_cloud

    • Elasticsearch運用ノウハウ | メルカリエンジニアリング https://engineering.mercari.com/blog/entry/20220311-97aec2a 2f8/