Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Aerospikeで大規模データを扱う

Avatar for miuranobuaki miuranobuaki
May 09, 2016
Technology
1
2k

 Aerospikeで大規模データを扱う

Aerospike Meetup #3での発表資料です。

#4で発表した際に若干追加したので、
資料を更新しました

Avatar for miuranobuaki

miuranobuaki

May 09, 2016
Tweet

More Decks by miuranobuaki

See All by miuranobuaki
組織の変化に必要なことは 投資ではないだろうか？ / What is needed to change the organization Isn't it an investment?
Avatar for miuranobuaki miuranobuki
2
4k
Scrumのロールだけでは足りなかったピースとしてのマネージャー / The roll of Scrum wasn't enough. Manager as a piece
Avatar for miuranobuaki miuranobuki
14
4.5k
普通の開発メンバーが リーダーになってやったこと
Avatar for miuranobuaki miuranobuki
21
14k

Other Decks in Technology

See All in Technology
Why React!?? Next.jsそしてReactを改めてイチから選ぶ
Avatar for ypresto ypresto
10
4.2k
Oracle Base Database Service 技術詳細
Avatar for oracle4engineer oracle4engineer
PRO
11
77k
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
Avatar for arap / 0air 0air
0
190
ユニットテストに対する考え方の変遷 / Everyone should watch his live coding
Avatar for mdstoy mdstoy
0
120
インサイト情報からどこまで自動化できるか試してみた
Avatar for takas takas0522
0
130
Modern_Data_Stack最新動向クイズ_買収_AI_激動の2025年_.pdf
Avatar for Sagara sagara
0
180
＃普通の文系サラリーマンチャレンジ　 自分でアプリ開発と電子工作を続けたら人生が変わった
Avatar for tatsuya1970 tatsuya1970
0
910
リーダーになったら未来を語れるようになろう/Speak the Future
Avatar for Genki Sano sanogemaru
0
240
生成AIを活用したZennの取り組み事例
Avatar for igarashi ryosukeigarashi
0
190
o11yで育てる、強い内製開発組織
Avatar for _awache _awache
3
100
about #74462 go/token#FileSet
Avatar for tom twinkle tomtwinkle
1
270
いま注目しているデータエンジニアリングの論点
Avatar for Ikki Miyazaki ikkimiyazaki
0
570

Featured

See All Featured
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.1k
Reflections from 52 weeks, 52 projects
Avatar for Jefferson Lam jeffersonlam
352
21k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
657
61k
Raft: Consensus for Rubyists
Avatar for Patrick Van Stee vanstee
139
7.1k
It's Worth the Effort
Avatar for 3n 3n
187
28k
Scaling GitHub
Avatar for Zach Holman holman
463
140k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
53
7.8k
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
32
1.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
Avatar for David Neal reverentgeek
52
5.6k
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
56
6.6k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
615
210k
The MySQL Ecosystem @ GitHub 2015
Avatar for Sam Lambert samlambert
251
13k

Transcript

  1. Aerospike Ͱ େن໛σʔλΛѻ͏ ࡾӜ৳໌ גࣜձࣾαΠόʔΤʔδΣϯτ / גࣜձࣾRightSegment 2016/08/02 - Aerospike

    meetup

  2. ࣗݾ঺հ ࡾӜ৳໌ (@miuranobuak) גࣜձࣾαΠόʔΤʔδΣϯτ ΞυςΫελδΦ גࣜձࣾRightSegment ʹͯ PrivateDMP Λ։ൃ ΤϯδχΞ

    Podcast (http:/ /lean-agile.fm/)

  3. ࠓ೔͓࿩͢Δ͜ͱ ɾAerospike ΛͲ͏࢖͍ͬͯΔ͔ ɾղܾ͖ͯͨ͠໰୊ ɾ࠷ۙࢼͯ͠Έͨ͜ͱ ɾࠓޙ΍ͬͯΈΑ͏ͱ͍ͯ͠Δ͜ͱ

  4. AerospikeΛͲ͏࢖͍ͬͯΔ͔

  5. RightSegmentͰͷ࢖͍ํ ϦΞϧλΠϜϢʔβ൑ఆ ৚͔݅ΒϢʔβΛநग़

  6. RightSegment ߦಈ৘ใ΍ձһ৘ใɾ޿ࠂޮՌσʔλͳͲΛ஝ੵ ͠ɺDSP΍ΞυωοτϫʔΫͱ࿈ಈͯ͠Ϣʔβͷଐ ੑ΍޿ࠂ઀৮Λϕʔεʹߴ౓ͳ෼ੳʗϚʔέςΟϯ άΛߦ͏͜ͱ͕ՄೳͳϓϥΠϕʔτDMP ແཧ໼ཧγϯϓϧʹݴ͏ͱ • Ϣʔβʹద੾ͳΞϓϩʔνऔΕΔΑ͏ʹ൑ఆ • ద੾ͳ੾ΓޱͰ޿ࠂ഑৴

  7. ϦΞϧλΠϜϢʔβ൑ఆ

  8. ϦΞϧλΠϜϢʔβ൑ఆ • ࣄલʹઃఆͨ͠৚݅ʹ͋ͯ͸·Δ͔൑ఆ • ໿ 35,000 ʙ 40,000 TPS

  9. શମͷΠϝʔδ

  10. ৚͔݅ΒϢʔβΛநग़

  11. ৚͔݅ΒϢʔβΛநग़ • ৚݅ʹ߹க͢ΔશϢʔβͷϦετΛ࡞੒ • 1ϢʔβϦετ͸ ਺ඦ ʙ ਺ઍສ݅ • நग़ͨ͠ϢʔβϦετΛ࿈ܞઌʹૹ৴

    • Secondary IndexΛ࢖༻

  12. શମΠϝʔδ

  13. ղܾ͖ͯͨ͠໰୊

  14. ղܾ͖ͯͨ͠໰୊ • ਪ঑SSDͰͳ͍ͱύϑΥʔϚϯε͕ग़ͳ͍(স) • ίϨΫγϣϯͷIndex͕࢖͑ͳ͍(౰࣌) • ΫϥΠΞϯτͷઃఆ΍εϖοΫ • αʔόͷઃఆ •

    etc... AerospikeͷαϙʔτͱҰॹʹղܾ શྗͰαϙʔτͯ͘͠ΕΔ

  15. ղܾͨ͠໰୊ΛϐοΫΞοϓ

  16. ղܾͨ͠໰୊ ͦͷ1 λΠϜΞ΢τසൃ • 1ϢʔβͰ਺ઍͷ৚݅ʹ౰ͯ͸·Δ৔߹΋͋Δ • Secondary Index ͕ ݪҼ

    • େྔRead/Write ͩͱ଱͑ΒΕͳ͍Β͍͠(౰࣌) ղܾํ๏ • Secondary Index༗ແͷ ΫϥελΛ࡞Δ • ͖ͬͱࠓͳΒେৎ෉ʁ

  17. ղܾͨ͠໰୊ ͦͷ2 Ϋϥελʹউखʹ૊Έࠐ·ΕΔ • AerospikeͷΫϥελ͍͢͝ศར • ࡞ۀϛε΋͋Γɺผͷ2ͭͷΫϥελ͕ͬͭ͘͘ • ϊʔυΛΫϥελؒͰҠಈͤ͞Δͱ͖ʹൃੜ ղܾํ๏

    • શ؀ڥͰNameSpaceΛΘ͚Δ

  18. ղܾͨ͠໰୊ ͦͷ3 σʔλ࡟আ͕௥͍͔ͭͳ͍ • ࡟আ͕ଟ͍ͱ࣮ࡍʹফ͑Δ·Ͱ͕͔͔࣌ؒΔ • ૣ͘͢Δ͜ͱ΋Ͱ͖Δ͕ύϑΥʔϚϯε͕མͪΔ • େྔʹ࡟আ͢ΔͳΒؾΛ͚ͭͨํ͕ྑͦ͞͏ ղܾํ๏

    • σʔλͷੜଘظؒΛͪΌΜͱઃఆ͢Δ • ύʔςΟγϣϯαΠζม͑ͨΒྑ͘ͳͬͨΓ͠·

  19. ࠷ۙ΍ͬͯΈͨ͜ͱ

  20. ࠷৽όʔδϣϯΛࢼͯ͠Έͨ ɾ3.5.15 → 3.9.0.1 ΁όʔδϣϯΞοϓ ɾόʔδϣϯΞοϓҎ֎Կ΋͍ͯ͠ͳ͍ ͜ΕͰͲΕ͚ͩมΘΔͷ͔

  21. Migration Node௥Ճ΍੾Γ཭͠Λͯ͠IN/OUT͕0ʹͳΔ·Ͱ ɾMigrationThread=1 20h -> 5h ɾMigrationThread=50 4h -> 50min

    ໿5ഒͷεϐʔυ!!

  22. ॻ͖ࠐΈੑೳ • Secondary Index Λ࢖༻ • UDFΛར༻ͨ͠ॻ͖ࠐΈ 3.5.15 -> 22,000TPS

    3.9.0.1 -> 45,000TPSʂʂ ݶք·Ͱ͸ݕূͰ͖ͳ͔ͬͨ ͚Ͳɺ·ͩ·͍͚ͩͦ͏

  23. ࠓޙ΍ͬͯΈΑ͏ͱ͍ͯ͠Δ͜ͱ

  24. Migration໰୊ • σʔλྔ͕ଟ͍ͱ Migration ͷෛՙ͕ߴ͍ • σʔλྔ͕ଟ͍ͱόΧʹͳΒͳ͍ • ϦΞϧλΠϜॲཧʹ͸க໋తʹ •

    Nodeͷ௥Ճ΋ා͍ • NodeΛൈ͘ͷ͸΋ͬͱා͍

  25. ϋʔυো֐ͷରԠ • ͱ͸ݴͬͯ΋ϋʔυ͸ઈରʹյΕΔ ͯ͞ɺͲ͏ͨ͠΋ͷ͔ • λΠϜΞ΢τ͕େྔൃੜ͢Δঢ়گ͸ආ͚͍ͨ • ΋͏ҰݸΫϥελͭ͘Ε͹ྑ͍Μ͡Ό? • XDRͰ͖Δ͡ΌΜʂ

  26. ͱ͍͏Θ͚Ͱ • ݱࡏXDR؀ڥΛߏஙɺݕূத • ݩͷΫϥελΛ2ͭʹ෼͚ͯ࡞੒ • ग़དྷΔݶΓmigrationΛආ͚Δ • όʔδϣϯΞοϓʹ΋ॊೈʹରԠͰ͖ΔͷͰ͸ʁ

  27. ৭ʑͱ໰୊Λ͖͋͛ͯ·͕ͨ͠

  28. ݱঢ়ͷ࢓૊Έ͸ Aerospike Ͱͳ͍ͱ࣮ݱͰ͖͍ͯͳ͍

  29. ͔ͳΓཁٻ͕ߴ͘ͳ͍ͬͯ·͢ ࣮ࡍɺ௒଎͍Ͱ͢ɻ αϙʔτ΋ੌ͍ʂ

  30. ·ͱΊ ɾ௒଎͍͚Ͳɺۜͷ஄ؙ͡Όͳ͍ ɾσʔλಛੑ Λཧղͯ͠ઃܭ͢Δ ɾmigrationൃੜ࣌ͷෛՙݕূ Λ ɾසൟʹ࡟আ͞ΕΔ ৔߹΋ݕূ͢΂͖

  31. ࠷ޙʹ ҰॹʹؤுΔ ஥ؒ Λืू͍ͯ͠·͢ʂ େن໛σʔλ Λ ࠷৽ٕज़ Ͱ ࠷ߴͷՁ஋ Λಧ͚Δ͜ͱʹڵຯ͕͋Δํ

    ੋඇɺ͝࿈བྷ͍ͩ͘͞ʂ

  32. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠