秒間数万のログをいい感じにするアーキテクチャ

ඵؒ਺ສͷϩάΛ  ͍͍ײ͡ʹ͢ΔΞʔΩςΫνϟ )PLVUP)PTIJ!$PPLQBE*OD "844VNNJU5PLZP

੕๺ే ΄͠΄͘ͱ !LBOJ@C w ΫοΫύουגࣜձࣾΠϯϑϥετϥΫνϟʔ෦  ηΩϡϦςΟάϧʔϓάϧʔϓ௕ w 8FC\Πϯϑϥ ηΩϡϦςΟ^ΤϯδχΞ w
ઃܭߏஙӡ༻ w ੬ऑੑ਍அ *%4 8"' *4.4ӡ༻FUD w "84ೝఆ4" %FW0QTΤϯδχΞ 1SPGFTTJPOBM

w౤ߘϨγϐ਺ສ඼Ҏ্ w݄ؒར༻ऀ਺ ສਓ  ೥݄ݱࡏ

ٕज़ελοΫ w ΄΅શͯͷαʔϏε͕3VCZ 3VCZPO3BJMT w (PMBOH OPEFKT 1ZUIPOͳͲͷՕॴ΋ w %PDLFS
w ൒਺Ҏ্ͷγεςϜ͕%PDLFSͰຊ൪Քಇ w 6CVOUVX*UBNBF w $FOU04X1VQQFU͔ΒҠߦத w શαʔϏε͕"84্ͰՔಇ

ΫοΫύουͱ"84 w ೥ʹ%$͔Β׬શҠߦ w ೥ݱࡏ w "NB[PO&$Πϯελϯεd ୆ఔ౓ w "NB[PO4ΦϒδΣΫτԯҎ্
w ϐʔΫ࣌ಉ࣌ϦΫΤετ਺ SFRTҎ্

"84ར༻αʔϏε w ΄΅શͯͷ"84αʔϏεΛར༻ɾݕূ w ࠓճͷ͓࿩ʹؔ܎͢ΔαʔϏε w "NB[PO&$ "NB[PO71$ Ҏ߱&$ 71$ͱදه
w "NB[PO,JOFTJT4USFBNT Ҏ߱,JOFTJT4USFBNTͱදه w "NB[PO%ZOBNP%# Ҏ߱%ZOBNP%#ͱදه w "NB[PO3FETIJGU Ҏ߱3FETIJGUͱදه w "84-BNCEB Ҏ߱-BNCEBͱදه

ࠓ೔ͷςʔϚ  ϩάΛ͍͍ײ͡ʹ͢Δ

ͳͥϩάΛूΊΔͷ͔ʁ w 8FCαʔϏεʹ͓͍ͯ͸ϩά͚͕ͩlى͖ͨ͜ͱzΛࣔͤΔ w αʔϏεվળΛ͢ΔͨΊʹ͸ඞཁෆՄܽ w Ծઆͷݕূ w ύϑΥʔϚϯεվળ w
γεςϜτϥϒϧͷղফ w FUDʜ

ऩू͍ͯ͠Δϩά w 17ϩά w ϖʔδӾཡ͝ͱʹه࿥͞ΕΔ w Ӿཡ਺ɺݕࡧಈ޲ͷ෼ੳͳͲ w ޿ࠂܥϩά w
ΠϯϓϨογϣϯɺΫϦοΫɺ  ίϯόʔδϣϯ w ഑৴੍ޚ΍ޮՌଌఆʹ w ΞΫςΟϏςΟϩά w Ϣʔβߦಈ ը໘ભҠͳͲ w ࢪࡦݕূɺϞόΠϧΞϓϦͷಈ࡞ϩάͱͯ͠ w ؂ࠪϩά wϢʔβσʔλͷ࡞੒ɾߋ৽ɾ࡟আɺ  ϩάΠϯϩάͳͲ wαϙʔτɺηΩϡϦςΟ؂ࠪͳͲʹ w,1*༻ϩά wlग़དྷࣄzΛه࿥͢Δϩά w66 %6ͳͲ΋ࣗಈܭࢉɺ,1*؅ཧ༻ wγεςϜϩά w04ɺϛυϧ΢ΣΞͷϩά wγεςϜ؅ཧ༻ wFUDʜ

ϩάʹٻΊΔཁ݅ w ࣮֬ʹ഑ૹ͞ΕΔ͜ͱ w Ͱ͖Δ͚ͩ஗Ԇ͕গͳ͍͜ͱ w ྔΛݮΒ͢ αϯϓϦϯά ඞཁ͕ͳ͍͜ͱ w
෼ੳ͠΍͍͢ܗͰอ࣋Ͱ͖Δ͜ͱ

ϩάʹٻΊΔཁ݅ ͍͍ײ͡ʹ w ࣮֬ʹ഑ૹ͞ΕΔ͜ͱ w Ͱ͖Δ͚ͩ஗Ԇ͕গͳ͍͜ͱ w ྔΛݮΒ͢ αϯϓϦϯά ඞཁ͕ͳ͍͜ͱ
w ෼ੳ͠΍͍͢ܗͰอ࣋Ͱ͖Δ͜ͱ

ݱࡏͷن໛ w 'MVFOUEʹྲྀΕ͍ͯΔϩά ֓ࢉ w σʔλ૯ྔd(#೔ w Ϩίʔυ਺ԯϨίʔυҎ্೔ w
ඵؒ d Ϩίʔυ͘Β͍ ˞ΠϝʔδͰ͢

ϩάऩूͷมભ w ೥͘Β͍·Ͱ w ڊେͳ.Z42-ςʔϒϧʹॻ͔ΕΔ࣌୅ 17ϩά ޿ࠂϩάͷΈ "QQ4FSWFST -# .Z42-.BTUFS
.Z42-4MBWF QW@MPHUBCMF 6TFS

ϩάऩूͷมભ w ·ͩ17ϩά ޿ࠂϩάͷΈ w 'MVFOUEಋೖ w ։ൃऀ͕ࣗ༝ʹϩάΛऔಘɺอଘͰ͖ΔΑ͏ʹ w
ϩά͸.Z42- .POHP%#΍4 &.3༻ ʹอଘ

'MVFOUEʹ͍ͭͯ w ϩάऩू؅ཧπʔϧ w 5SFBTVSF%BUB͕ࣾ044ͱͯ͠։ൃ w ॊೈͰॻ͖΍͍͢ೖग़ྗϓϥάΠϯػߏ w όοϑΝϦϯάػೳΛσϑΥϧτͰ࣋ͭ w
ϩάͷϧʔςΟϯά͕ඇৗʹ΍Γ΍͍͢ w ΫοΫύουͰ͸΄΅શͯͷΠϯελϯεͰಋೖ

"QQ4FSWFST &-# .Z42-.BTUFS .Z42-4MBWF ϩάऩूͷมભ -PH"HHSFHBUPS &.3$MVTUFS 6TFS "NB[PO4
%FWFMPQFS

ϩάऩूͷมભ w 5SFBTVSF%BUBಋೖ w 42- )JWF2- ΞΫηεͰ͖Δ.BOBHFE)BEPPQ ౰࣌
w ूܭͷߴ଎͞ɺར༻ͷ༰қ͞΋ख఻ͬͯϩά͕ٸ૿ w 17ϩάҎ֎ͷϩά΋ऩू͞ΕΔΑ͏ʹ

"QQ4FSWFST &-# ϩάऩूͷมભ -PH"HHSFHBUPS 6TFS 5SFBTVSF%BUB &.3$MVTUFS "NB[PO4 %FWFMPQFS

ϩάऩूͷมભ w "NB[PO3FETIJGUಋೖ w UP#޲͚෼ੳαʔϏε ͨ΂ΈΔ ͷόοΫΤϯυͱͯ͠ w ΞϓϦέʔγϣϯͱ௚઀઀ଓ͢Δ%#ͱͯ͠ར༻
w σʔλ͸5%.Z42-͔Βϩʔυͯ͠Ճ޻ w ϩά͸ओʹ5%͔Βϩʔυ

"QQ4FSWFST &-# ϩάऩूͷมભ -PH"HHSFHBUPS 6TFS 5SFBTVSF%BUB "NB[PO4 "QQ4FSWFST &-#
6TFS UBCFNJSV #BUDI4FSWFS 3FETIJGU$MVTUFS %FWFMPQFS %JSFDUPS

ϩάऩूͷมભ d w ৭ʑͳϩά͕ͲΜͲΜ5%43FETIJGUʹ஝ੵ͞Ε͍ͯ͘ w &MBTUJDTFBSDIͳͲ΁ͷૹ৴΋͸͡·Δ w ྲྀྔ΍ॏཁ౓ɺॻ͖ࠐΈઌ͕૿͢ʹͭΕू໿ϊʔυ͕ϘτϧωοΫʹ

೥த०͘Β͍ͷߏ੒ "QQ4FSWFST &-# -PH"HHSFHBUPS 6TFS 5SFBTVSF%BUB "NB[PO4 "QQ4FSWFST &-# 6TFS
UBCFNJSV #BUDI4FSWFS 3FETIJGU$MVTUFS %FWFMPQFS %JSFDUPS &MBTUJDTFBSDI

ͳͥू໿ϊʔυΛ࢖͍ͬͯͨͷ͔ w ઃఆͷ୯७Խ w શαʔόʹݸผʹઃఆΛ൓ө͍ͯ͘͠ͷ͸ඇޮ཰ w ू໿ϗετͷϧʔςΟϯάͷΈΛมߋ͢Ε͹ྑ͍ w εϧʔϓοτͷ࠷େԽ w
σʔλࣗମͷΞάϦήʔγϣϯ w όονॻ͖ࠐΈ &MBTUJDTFBSDIͳͲ

ى͖͍ͯͨ໰୊ w ू໿ϊʔυͷෛՙ໰୊ w ྲྀྔ૿ՃͰෛՙ্͕͕Γଓ͚Δ w ͦͷ··Ͱ͸ϚϧνίΞΛ࢖͑ͳ͍ͷͰϓϩηε෼ׂͰؤுͬͨΓʜ w ߴෛՙ࣌ͷΦϖϨʔγϣϯϛεͰԿ౓͔ϩάσʔλΛϩετ͢Δࣄނ΋͋ͬͨ  ࠜຊݪҼ͕Ͳ͜ʹ͋Δ͔͸ෆ໌
w ग़ྗઌ΁ͷૹ৴ස౓ w ग़ྗઌΛl٧·Βͤͯ͠·͏z͜ͱ͕͋Δ &MBTUJDTFBSDIͳͲ w ૹ৴όοϑΝΛ࢖ͬͯ଴͓͔ͬͯ͘ϩάྔΛݮΒ͢ඞཁ͕͋ͬͨ

ඞཁͱ͍ͯͨ͠΋ͷ w ૹ৴ઌͷू໿ w ֤Πϯελϯε͔Β͸ʮಛʹߟ͑ͣσʔλΛૹΕΔʯঢ়ଶ w ϩάσʔλͷద੾ͳอޢ w ҆ఆͨ͠ύϑΥʔϚϯεɺѻ͍΍͍͢εέʔϧϞσϧ w
ΞϓϦέʔγϣϯ͕ϩάΛQVMMͰ͖ΔϞσϧ w ॲཧཻ౓΍ύϑΥʔϚϯεͷҧ͏γεςϜͰ΋  ಉ͡σʔλετϦʔϜΛѻ͑ΔΑ͏ʹ

"NB[PO,JOFTJT4USFBNT

"NB[PO,JOFTJT4USFBNT w ෼ࢄϝοηʔδϯάαʔϏε w %$ؒͰͷϨϓϦέʔγϣϯ w ෼ࢄߏ੒ʹΑΔ༰қͳεέʔϥϏϦςΟ֬อ w QVMMܕͷσʔλऔಘ w
ϑϧϚωʔδυ w l҆શͳ౔؅z

,JOFTJT4USFBNTWT"QBDIF,BGLB w "QBDIF,BGLB w 044ͷ෼ࢄϝοηʔδϯάγεςϜ w 5XJUUFS /FUqJY ָఱͳͲ͕ར༻ w
ͲͪΒ΋ཁ݅Λຬ͕ͨ͢·ͣϚωʔδυͳ,JOFTJT4USFBNT͔Β w ӡ༻ෛՙͷܰݮ΋໨తͷҰͭͩͬͨ

͜Ε·ͰͷసૹϞσϧ &MBTUJDTFBSDI %ZOBNP%# 4 "HHSFHBUPS 1SPEVDFS $POTVNFS

,JOFTJT4USFBNTͰͷసૹϞσϧ &MBTUJDTFBSDI %ZOBNP%# 4 ,JOFTJT4USFBNT 1SPEVDFS $POTVNFS $POTVNFS͕ 4VCTDSJCF͢Δ

,JOFTJT4USFBNTʹΑΔQVMMܕૹ৴ͷར఺ w ϩάͷऔΓѻ͍ΛऔΓࠐΈଆ੍͕ޚ͠΍͍͢ w ʮͲͷ͘Β͍ʯϩάΛऔΓࠐΉ͔ w औΓࠐΈͷҰ࣌ఀࢭɺ࠶։ w ϩάͦͷ΋ͷΛετϦʔϜͱͯ͠อ͓͚࣋ͯ͠Δ w
ૹ৴ଆ͸ʮͱʹ͔͘ϩάΛૹΔʯ͚ͩͰ͍͍

,JOFTJT4USFBNTͰͷసૹϞσϧ &MBTUJDTFBSDI %ZOBNP%# 4 ,JOFTJT4USFBNT 1SPEVDFS $POTVNFS UFTUBQQ 4VCTDSJCF͢Ε͹ σʔλ͕ྲྀΕΔ

1SPEVDFS

,JOFTJT4USFBNT1SPEVDFSΛͭ͘Δ w ૹ৴ͦͷ΋ͷʹ͸'MVFOUE qVFOUQMVHJOLJOFTJT Λར༻ w Πϯελϯε಺ͷόοϑΝϦϯά w ϩάͷϧʔςΟϯά w
ΞϓϦέʔγϣϯͷίʔυΛมߋ͢Δඞཁ͕ͳ͍ w ू໿ϊʔυ͔Βͷૹ৴͔Β։࢝ w ࠷খݶͷมߋͰݕূͰ͖ΔΑ͏ʹ

ߏ੒ -PH"HHSFHBUPS ,JOFTJT4USFBNT "QQ4FSWFST "QQ4FSWFST "QQ4FSWFST

ू໿ϊʔυͷෛՙ໰୊ w ϩάྲྀྔʹରͯ͠εϧʔϓοτ͕ग़ͳ͍ $16ෛՙ w εέʔϧΞοϓͯ͠΋ࠜຊղܾͰ͖ͳ͍ -PH"HHSFHBUPS ,JOFTJT4USFBNT "QQ4FSWFST
"QQ4FSWFST "QQ4FSWFST

ू໿ϊʔυͷෛՙ໰୊ w ϩάྲྀྔʹରͯ͠εϧʔϓοτ͕ग़ͳ͍ $16ෛՙ w εέʔϧΞοϓͯ͠΋ࠜຊղܾͰ͖ͳ͍ w ֤"QQαʔό͔Β௚઀ૹ৴͢ΔΑ͏ʹ ͯ͠ղফ
,JOFTJT4USFBNT "QQ4FSWFST "QQ4FSWFST "QQ4FSWFST

Ϩίʔυ਺ଟ͗͢໰୊ w Ϩίʔυ਺,# େྔͷϨίʔυ਺ w γϟʔυ͕ॲཧͰ͖Δͷ͸ ϨίʔυTFD w Ϩίʔυ.#·Ͱαϙʔτ͞Ε͍ͯΔͷʹʜ w
શͯΛࡹͨ͘Ίʹ͸ଟ͘ͷγϟʔυ͕ඞཁʹʜ w

,JOFTJT1SPEVDFS-JCSBSZ ,1- w ,JOFTJT΁ͷσʔλૹ৴Λl͍͍ײ͡ʹzͯ͘͠ΕΔόΠφϦ ίΞ෦෼͸$ w ϦτϥΠɺγϟʔυ਺࠷దԽɺϨίʔυू໿ɺϝτϦΫεૹ৴ w ,JOFTJTϨίʔυʹෳ਺ϨίʔυΛ٧ΊࠐΉ͜ͱͰεϧʔϓοτΛ্͛Δ
w ࣮૷ͱͯ͠͸1SPUPDPM#V⒎FST w ಠཱͨ͠ϓϩηεͱͯ͠ಈ͖*1$ͰϩάΛड͚औΔ NTH NTH NTH NTH NTH NTH NTH .# NTH FNQUZ ͜Ε·Ͱ ,1-

qVFOUQMVHJOLJOFTJT w IUUQTHJUIVCDPNBXTMBCTBXTqVFOUQMVHJOLJOFTJT w ,1-Λ࢖ͬͨૹ৴ʹରԠ w 'MVFOUEϓϩηεͷࢠϓϩηεͱͯ͠,1-͕ىಈ͢Δ

,1-ʹΑΔू໿ͷಋೖ w Ϩίʔυ਺͕ܹݮ w γϟʔυ਺͕ݮΒͤΔΑ͏ʹͳͬͨ w ࣌ؒ͝ͱͷϨίʔυ਺ͷৼΕ෯΋খ͘͞ͳͬͨ ू໿։࢝

$POTVNFS ˞ݱࡏ͸ࢼݧӡ༻த

޿ࠂϩά w ΫϦοΫɺΠϯϓϨογϣϯɺΠϕϯτϩά w ྲྀྔ͕ඇৗʹଟ͍ w ୯ମͰ ϨίʔυඵΛ௒͑Δ w ഑৴੍ޚɺ੒Ռใࠂʹར༻
w ܽଛɺ େ͖ͳ ஗Ԇ͕Ϗδωε্ΫϦςΟΧϧʹ w ४ϦΞϧλΠϜͳσʔλूܭ͕ཁٻ͞ΕΔΑ͏ʹ

޿ࠂϩάߏங͍ͯ͠Δऩूɾूܭ w 'MVFOUEͰ5SFBTVSF%BUBͱ,JOFTJT4USFBNTʹૹ৴ w 5SFBTVSF%BUBͰόονूܭ w ,JOFTJT4USFBNT͔Β-BNCEBGVODUJPO΁ w -BNCEBGVODUJPO͔Β4ʹૹ৴ 3FETIJGUΠϯϙʔτ
w -BNCEBGVODUJPOͰूܭͯ͠%ZOBNP%#ʹ֨ೲ ଎ใσʔλ w 3FETIJGU 5SFBTVSF%BUBͷσʔλΛ.Z42-ʹ֨ೲͯ͠ར༻ w %ZOBNP%#ͷσʔλ͸௚઀ར༻

ߏ੒ -PH"HHSFHBUPS ,JOFTJT4USFBNT "QQ4FSWFST "QQ4FSWFST "QQ4FSWFST 5SFBTVSF%BUB 4 -BNCEBGVODUJPO -BNCEBGVODUJPO
%ZOBNP%# #BUDI4FSWFS 3FETIJGU$MVTUFS

-BNCEBͱ,JOFTJT4USFBNT w ૬ੑ͕ྑ͍ w γϟʔυ਺୯ҐͰ࣮ߦίϯςφ͕εέʔϧ͢Δ w ϦτϥΠػߏΛ΋ͭ w &$Πϯελϯεͷ؅ཧ͕ෆཁ w
ݸਓతʹ 3VCZ͕࢖͑ΔΑ͏ʹͳͬͯ͘ΕΔͱخ͍͠ʜ

-BNCEBͱ,1- w ,1-Ͱू໿͞ΕͨϨίʔυΛ΄Ͳ͘ඞཁ͕͋Δ w "84͕-BNCEBͰ࢖͑ΔϥΠϒϥϦΛग़͍ͯ͠Δ w IUUQTHJUIVCDPNBXTMBCTLJOFTJTBHHSFHBUJPO NTH NTH NTH
NTH NTH NTH NTH

ӡ༻ʹ͍ͭͯ w ߹ܭγϟʔυ͘Β͍ w ,1-Ͱू໿͍ͯ͠ͳ͍ετϦʔϜ΋ؚΉ w ಈతͳγϟʔυͷ૿ݮ͸͍ͯ͠ͳ͍ w γϟʔυ͸ഒʹ͢Δ͔ʹ͢Δ͔ͷબ୒ࢶ͔͠جຊతʹͳ͍ w
γϟʔυΩʔ͕े෼ʹ෼ࢄ͍ͯ͠Δ͜ͱ͕લఏ w γϟʔυ୯ҐͷϝτϦΫε͕औಘͰ͖ΔΑ͏ʹͳͬͨ w ϗοτͳγϟʔυ͕ͳ͍͔ͳͲͷ؂ࢹ͕͠΍͍͢

ϩάʹٻΊΔཁ݅ w ࣮֬ʹ഑ૹ͞ΕΔ͜ͱ w Ͱ͖Δ͚ͩ஗Ԇ͕গͳ͍͜ͱ w ྔΛݮΒ͢ αϯϓϦϯά ඞཁ͕ͳ͍͜ͱ w
෼ੳ͠΍͍͢ܗͰอ࣋Ͱ͖Δ͜ͱ

ϩάʹٻΊΔཁ݅ w ࣮֬ʹ഑ૹ͞ΕΔ͜ͱ w %$ؒͰϨϓϦέʔγϣϯ͞ΕΔΑ͏ʹ w Ͱ͖Δ͚ͩ஗Ԇ͕গͳ͍͜ͱ w ࠓͷͱ͜ΖϨίʔυ஗Ԇ͸΄΅ͳ͍ w
ྔΛݮΒ͢ αϯϓϦϯά ඞཁ͕ͳ͍͜ͱ w ϩάΛड͚Δ TVCTDSJCF͢Δ ଆͰௐ੔Ͱ͖ΔΑ͏ʹͳͬͨ  4USFBNTࣗମ΋؆୯ʹεέʔϧͰ͖ΔΑ͏ʹͳͬͨ w ෼ੳ͠΍͍͢ܗͰอ࣋Ͱ͖Δ͜ͱ w ϩάࣗମΛஷΊ͓͚ͯΔͷͰࢼߦࡨޡ΋͠΍͍͢

,JOFTJT4USFBNTͭΒ͍ͱ͜Ζ w 4 3FETIJGUʹૹΔͷʹ$POTVNFSΛ͸͞Ήඞཁ͕͋Δ w ,JOFTJT'JSFIPTF5PLZPSFHJPOΛʜʂ w ։ൃऀଆͰϩάϧʔςΟϯάΛ͢Δඞཁ͕͋Δ w ݱࡏ͸$POTVNFSଆ΍1SPEVDFSଆͰ͕Μ͹Δ
w 4USFBNT͸ͭಛఆͷλάͷΈ ͱ͍ͬͨQVMM͕͍ͨ͠ w 71$&OEQPJOU͕ͳ͍ /"5͔QVCMJD*1͕ඞཁ w ഒPSͰγϟʔυ૿ݮ͢Δ"1*͕ཉ͍͠ w γϟʔυ͝ͱʹૢ࡞͕ऴΘΔ·Ͱ଴ͭඞཁ͕͋Δ

ࠓޙ΍Γ͍ͨ͜ͱ w ,JOFTJT4USFBNT -BNCEB Λ࢖ͬͨϩάॲཧͷ֦ॆ w *%4 8"'ϩάͷऩूɺ෼ੳ w ετϦʔϜࣗମ͕อ࣋͞Ε͍ͯΔͷͰࢼߦࡨޡ͸͠΍͘͢ͳͬͨ
w ޿ࠂϩάҎ֎ͷ४ϦΞϧλΠϜूܭɺ෼ੳ w 4QBSL4USFBNJOHͳͲͷར༻

·ͱΊ w 'MVFOUE "NB[PO,JOFTJT4USFBNTΛத৺ͱͨ͠  ϩάऩूɺ෼ੳج൫ͱͦͷมભʹ͍͓ͭͯ࿩͠·ͨ͠ w QVTIܕ͔ΒQVMMܕʹΑΔॲཧ΁ͱస׵ w σʔλྲྀྔʹԠͯ͡ద੾ͳΞʔΩςΫνϟΛબͼ·͠ΐ͏ w
,JOFTJT4USFBNTࣗମͷ؅ཧίετ͸΋ͪΖΜ૿͑Δ w ྲྀྔ͕গͳ͍؀ڥͰ͋Ε͹Φʔόʔͳߏ੒͔΋͠Εͳ͍

8F`SFIJSJOH

IUUQTSFDSVJUDPPLQBEDPN

ຖ೔ͷྉཧΛָ͠Έʹ 5IBOLZPV

秒間数万のログをいい感じにするアーキテクチャ

秒間数万のログをいい感じにするアーキテクチャ

More Decks by Hokuto Hoshi

Other Decks in Technology

Featured

Transcript