データ鮮度を落とさずに安全にReindexしたい

Transcript

1. @kotaroooo0 2025/02/26 Elasticsearch Community in Tokyo 2025 σʔλ઱౓Λམͱͣ͞ʹ҆શʹ Reindex͍ͨ͠ 1
2. ࣗݾ঺հ 2 ҆ୡޫଠ࿠ @kotaroooo0 גࣜձࣾ10X ωοτεʔύʔͷݕࡧਪનͷ ։ൃӡ༻Λ୲౰͍ͯ͠·͢
3. ΞδΣϯμ 3 1. Reindexʹ͍ͭͯ 2. 10XͰͷ͜Ε·ͰͷReindexํ๏ͱ໰୊఺ 3. 10XͰͷ৽͍͠Reindexํ๏ 4. ·ͱΊ
4. Reindexʹ͍ͭͯ • ΠϯσοΫεΛ࠶ߏங͢Δ࡞ۀ • ͳͥඞཁͳͷ͔ʁ • ܗଶૉղੳͷࣙॻߋ৽ͷͨΊ • طଘϑΟʔϧυͷมߋɾ࡟আͳͲͷͨΊ • Ͳ͏΍ͬͯ΍Δ͔ʁ • ୯७ʹߟ͑ΔͱɺReindex API → ΤΠϦΞεΛ੾Γସ͑ • ͔͠͠ɺΠϯσοΫεΛࠩ෼ߋ৽͢Δ৔߹ɺ͜ͷ΍ΓํͰ͸σʔλߋ৽࿙ Ε͕ൃੜͯ͠͠·͏… 4 →
5. 10XͰͷ͜Ε·ͰͷReindexํ๏ લఏ • ϝΠϯͷΠϯσοΫε͸ωοτεʔύʔͷ঎඼Λݕࡧ͢ΔͨΊͷΠϯσοΫε • σʔλͷ෺ཧ࡟আͳ͠ • ͓٬͞·͔ΒͷϦΫΤετʹΑΔࢀর͕େྔʹ͋Δ • ߋ৽͕ৗʹ͋Δ • 3shards, 2replicaͰ1shard 12GB͘Β͍ 5 10XͷΠϯσΩγϯάΞʔΩςΫνϟ
6. 10XͰͷ͜Ε·ͰͷReindexํ๏ 6 1. Reindex APIΛୟ͘(໿70෼) 2. ΤΠϦΞεΛ੾Γସ͑Δ 3. ߋ৽࿙ΕͷσʔλΛdb͔Β औಘ͠࠶౓publish(໿10෼)
7. 10XͰͷ͜Ε·ͰͷReindexํ๏ ໰୊఺ • σʔλ઱౓͕མͪΔ͕࣌ؒ௕͍ • Reindex͕1࣌ؒҎ্͔͔Γͦͷؒʹߋ৽͞Εͨσʔλ͕ଟ͍ • ΤΠϦΞε੾Γସ͑ޙʹσʔλ઱౓ճ෮͢Δͷʹ͕͔͔࣌ؒΔ • σʔλ઱౓ճ෮ͷͨΊͷॲཧ͕ɺdb, queue, workerʹ΋ґଘ͠Τϥʔ͕ൃੜ ͠΍͍͢ 7
8. 10XͰͷ৽͍͠Reindexํ๏ 8 https://tech.legalforce.co.jp/entry/2021/12/21/190129
9. 10XͰͷ৽͍͠Reindexํ๏ • Reindex APIͰqueryΛॻ͚Δ͜ͱΛ஌ͬͨ • updatedAt౳ͰߜΓࠐΊ͹ɺࠩ෼͚ͩReindexͰ͖Δ • Կճ͔Reindex APIΛୟ͚͹ɺঃʑʹॴཁ͕࣌ؒ୹͘ͳΓσʔλ઱౓͕΄΅མͪ ͳ͘ͳΔͷͰ͸…? • ·ͨElasticsearch୯ମͰReindexΛ׬݁Ͱ͖γϯϓϧʹͳΓ଱ো֐ੑ͕޲্͢Δ 9 → →
10. 10XͰͷ৽͍͠Reindexํ๏ 10
11. 10XͰͷ৽͍͠Reindexํ๏ ΍ͬͯΈͨ݁Ռ • 3ճReindexΛ܁Γฦͯ͠Έͨ • ຊ൪؀ڥ • 1ճ໨ͷReindex 4368ඵ • 2ճ໨ͷReindex 261ඵ • 3ճ໨ͷReindex 331ඵ • ΤΠϦΞε੾Γସ͑ޙͷReindex 1ඵ • σʔλ઱౓͕མͪΔ͕࣌ؒ΄ͱΜͲͳ͍ʂ • ReindexͷλΠϛϯάʹΑΓॴཁ࣌ؒ͸લޙͦ͠͏ 11 ࢀߟ: ։ൃ؀ڥ • 1ճ໨ͷReindex 5743ඵ • 2ճ໨ͷReindex 1028ඵ • 3ճ໨ͷReindex 577ඵ • ΤΠϦΞε੾Γସ͑ޙͷReindex 603ඵ
12. 10XͰͷ৽͍͠Reindexํ๏ ΋͠෺ཧ࡟আ͕͋ͬͨΒ…? • ͜ͷํ๏Ͱ͸ෆे෼ • Reindex API͚ͩͰ͸ʮ࡟আ͞Εͨσʔλʯ͸௥͑ͳ͍ • Ͳ͏ରԠ͢Δ͔ • ํ๏1: ࿦ཧ࡟আʹํࣜΛม͑Δ • ํ๏2: ࡟আϩάΛه࿥͓͖ͯ͠࠷ޙʹ࡟আ͢Δ • ํ๏3: ΤΠϦΞε੾Γସ͑ޙʹdbͱElasticsearchΛൺֱ͠ෆཁͳυΩϡϝϯτΛ࡟ আ͢Δ 12
13. ·ͱΊ Reindex APIΛෳ਺ճୟ͘ํ๏ʹΑΓ • σʔλ઱౓͕མͪΔ͕࣌ؒେ෯ʹ୹ॖͨ͠ • ElasitcsearchͷΈͰReindexΛ׬ྃͰ͖ɺγϯϓϧʹͳΓ଱ো֐ੑ͕޲্ͨ͠ 13 → →