組織とともに成長するデータマネジメント 〜データマネジメントに立ちはだかる「壁」〜

データ品質・セキュリティ・アーキテクチャ・メタデータ・統合と相互運用性── 全社横断でのデータ活用を目指すデータマネジメントの実践において立ちはだかる大小さまざまな「壁」。組織や事業を加速するために必要なデータやステークホルダーの増加とともに、これらの「壁」に直面する機会は増えていきます。マネーフォワードのデータ組織の変遷に沿って立ちはだかる「壁」を乗り越えた歴史をご紹介します。

https://techplay.jp/event/892180
【DeNA／PayPay／マネーフォワード】波乱万丈伝から学ぶ！成長企業におけるデータマネジメントの勘所～大規模データ分析基盤の変遷～

Transcript

1. ૊৫ͱͱ΋ʹ੒௕͢Δ σʔλϚωδϝϯτ σʔλϚωδϝϯτʹཱͪ͸͔ͩΔʮนʯ ೾ཚສৎ఻͔ΒֶͿʂ੒௕اۀʹ͓͚ΔσʔλϚωδϝϯτͷצॴ ʙେن໛σʔλ෼ੳج൫ͷมભʙ
2. ଠా ହ߂ Yasuhiro Ota גࣜձࣾϚωʔϑΥϫʔυ CTOࣨ ෼ੳج൫෦ ota2000 σʔλ෼ੳνʔϜͷ্ཱͪ͛ϝϯόʔͱ͠ ͯגࣜձࣾϚωʔϑΥϫʔυʹೖࣾɻҎ དྷɺશࣾԣஅͷσʔλϚωδϝϯτશൠ ͷۀ຿ʹܞΘΔɻ 2
3. 1. ෼ੳج൫ͷมભ 2. ্ཱͪ͛ᴈ໌ظͷน 3. σʔλͷຽओԽͷน 4. σʔλ૊৫෼཭ͷน 5. ج൫վળͷน 6. ·ͱΊ ຊ೔ͷΞδΣϯμ 3
4. ෼ੳج൫ͷมભ ~ 2018 2019 2020 • ࣾ಺ͷ༗ࢤͰϓϩμΫτͷΞΫη εϩάΛBigQuery΁όονETL͠ ෼ੳΛ͓͜ͳ͍͸͡ΊΔ • Embulk + DigDagʢmf_etlʣ • ͋͘·Ͱ΋஌ݟͷ͋ΔΤϯδχΞ ͕࢖༻͢Δʹཹ·Δ • ϓϩμΫτͷσʔλ෼ੳ͸VDI͔ ΒͷΈΞΫηεग़དྷΔϚϧνϨϓ ϦέʔγϣϯͷMySQLΛ࢖༻ • ΞφϦετͱσʔλΤϯδχΞ͕ ࡏ੶͢Δ෼ੳਪਐ্ཱ͕͕ࣨͪΔ ʢ3໊͔Βͷελʔτʣ • ؅ཧձܭͷଐਓԽഉআɾࣗಈԽͷ ͨΊʹBigQuery׆༻͕ຊ֨Խ͢ Δ • ֤छπʔϧͷಋೖʢLooker, Google Analytics 360, Airflow, Terraform౳ʣ • ηʔϧεɾϚʔέςΟϯά׆ಈ΍ ޿ࠂӡ༻಺੡ԽͷͨΊͷ BigQuery׆༻͕͸͡·Δ • ֤෦ॺͷKPI؅ཧɾՄࢹԽͷࢧԉ Λ͓͜ͳ͏ • ച্΍KPIͷ؅ཧํ๏͕ཚཱ͠͸ ͡ΊΔ • ϓϩμΫτσʔλ΍CRMπʔϧ౳ Ͱอ؅͍ͯ͠ΔσʔλͷBigQuery సૹ͕׆ൃԽ͢ΔʢηϯγςΟϒ ͳ΋ͷΛআ͘ʣ 4
5. 2023 2021 2022 ෼ੳج൫ͷมભ • σʔλΤϯδχΞϦϯάઐۀͷ෼ ੳج൫෦্ཱ͕͕ͪΔ • ϚϧνϨϓϦέʔγϣϯMySQLͳ ෼ੳDBΛBigQueryʹϦϓϨʔε ͢Δʢ׬ྃ·Ͱ΄΅ؙҰ೥ʣ • trocco®Λಋೖ͠ϦόʔεETL౳ ΁ͷ׆༻Λ։࢝ • νʔϜϝϯόʔΛେ෯ʹ૿һ͠ґ པϕʔεͷऔΓ૊Έ͔Β୤٫͠͸ ͡ΊΔ • 2021೥ʹϦϓϨʔεͨ͠σʔλج ൫Λ΋ͱʹETLͷϑϩʔΛେ෯ʹ ࡮৽ɾ؆ུԽ͢Δ • σʔλΧλϩάπʔϧͷ಺੡͕͸ ͡·Δ • MLج൫ͷվળʹऔΓ૊Ή • ݱࡏʹࢸΔ • Ҿ͖ଓ͖ج൫ͷվળ౳ʹऔΓ૊Μ Ͱ͍Δ͕ɺج൫શମͷߏ଄มԽΛ ൐͏Α͏ͳେ͖ͳϦϓϨʔε͔Β ͸୤٫Ͱ͖ͨঢ়ଶ 5
6. ্ཱͪ͛ᴈ໌ظͷน ʙ2019೥ 6
7. • ෼ੳνʔϜ্ཱͪ͛Ҏલ͔Β༗ࢤʹ ΑΔ෼ੳ͸ߦΘΕ͍ͯͨ • طଘͷETLγεςϜʢmf_etlʣͷҾ ͖ܧ͗ɺ؅ཧձܭͷଐਓԽഉআɾ൒ ࣗಈԽʹूதͯ͠औΓ૊Ή ্ཱͪ͛ᴈ໌ظͷน 7
8. ൥ࡶԽͨ͠σʔλߏ଄ʢσʔλͷ࣋ͪํʣ • νʔϜ্ཱͪ͛Ҏલ͸ɺ༗ࢤʹΑΔ֤ਓͷࣄۀྖҬ΁ͷ෼ੳ׆༻͕ϝΠϯ Ͱ͋ͬͨͨΊαΠϩԽͨ͠σʔλج൫͕ෳ਺ଘࡏ͢ΔΑ͏ͳঢ়ଶͩͬͨ Ͳ͏৐Γӽ͔͑ͨʁ • ׆༻໨ઢ: LookerΛಋೖ͠Single Soure of Truthͷ࣮ݱ • ج൫໨ઢ: ETL౳ͷ؅ཧओମͷ໌֬ԽɺసૹϨϏϡʔମ੍ͷ੔උɺ BigQueryͷσʔληοτߏ଄౳ͷมߋ ্ཱͪ͛ᴈ໌ظͷน 8
9. σʔλͷຽओԽͷน 2020೥ࠒ 9
10. • ؅ཧձܭͷଐਓԽഉআɾ൒ࣗಈԽΛҾ ͖ଓ͖ߦ͍ͳ͕ΒɺΞφϦετͷ࠾༻ ͳͲΛܦ֤ͯࣄۀ෦ͷKPIՄࢹԽͳͲ ͷྖҬʹ΋౿ΈࠐΉ • ͜ͷࠒɺࣄۀ෦αΠυ͔Β΋ओମతʹ ෼ੳʹίϛοτ͢Δϝϯόʔ͕૿Ճ͢ Δ σʔλͷຽओԽͷน 10
11. σʔλ׆༻ͷน • ֤ࣄۀ෦΁෼ੳΛਪਐ͢ΔͨΊɺ෯޿͘υϝΠϯ஌ࣝΛऔΓೖΕΔඞཁ͕ੜͨ͡ ʢ౰࣌ͷϓϩμΫτ਺͸20ఔ౓ʣ • ϓϩμΫτͷ૿Ճɾൢചํ๏ͷଟ༷Խʹ൐͍؅ཧձܭϩδοΫ͕ෳࡶԽ͠෼ੳνʔ Ϝͷ޻਺͕֦େͨ͠ Ͳ͏৐Γӽ͔͑ͨʁ • ෼ੳʹର͢ΔԹ౓ײ͕ߴ͍෦ॺʹ݉຿ϝϯόʔΛૹΓࠐΈࣗ૸ԽΛࢧԉͨ͠ • ؅ཧձܭͱKPI؅ཧΛҾ͖཭ͣ͞ҰମԽͯ͠؅ཧͰ͖Δঢ়ଶΛ໨ࢦͨ͠ σʔλͷຽओԽͷน 11
12. σʔλج൫ͷน • ֤ࣄۀ෦Ͱͷ׆༻͕ਐΈ෼ੳج൫ʹసૹ͢Δσʔλྔ͕ܹ૿ͨ͠ • σʔλ׆༻Λߦ͏ϝϯόʔ΋֤෦ॺʹ૿͑ɺϝϯγϣϯͰґཔΛड͚ͯσʔλΤϯδχΞ͕ରԠ͢ Δͱ͍͏ྲྀΕ͕ݶքΛܴ͑ͨ • సૹσʔλͱ෼ੳϢʔβʔ͕૿͑ͨͨΊɺσʔλࣗମͷ؅ཧ΍ݖݶͷ؅ཧ͕൥ࡶԽͨ͠ Ͳ͏৐Γӽ͔͑ͨʁ • ΦϯϓϨETLαʔόʔͷڧԽɾ૿ઃ • ೔ʑͷόονసૹ͚ͩͰͳ͘HourlyͰͷసૹ΋ಋೖ • Embulkఆٛ͸σʔλΛཉ͍͠ਓ͕ॻ͖ɺج൫νʔϜ͕ϨϏϡʔ͢Δͱ͍͏ମ੍ʹมߋ͠ 
 ࣮૷͚ͩͰͳ͘σʔλϚωδϝϯτʹ޲͖߹͏࣌ؒΛ૿΍ͨ͠ σʔλͷຽओԽͷน 12
13. σʔλ૊৫෼཭ͷน 2021೥ࠒ 13
14. • σʔλΤϯδχΞϦϯάΛઐ໳ʹ͓ ͜ͳ͏෼ੳج൫෦্ཱ͕͕ͪΔ • ઃཱ౰ॳ͸͔ͳΓগਓ਺ͷνʔϜ • ૊৫Λ෼཭ͨ͠໨త͸ɺج൫վળ΁ ͷूதͱML/AIྖҬʹ޲͚ͨج൫ͷ ߴ౓Խ σʔλ૊৫෼཭ͷน 14
15. ઃཱ౰ॳ͔ΒMySQLϚϧνϨϓϦͷ෼ੳ༻DBͷϦϓϨʔε͕٤ۓͷ՝୊ʹ ਺೥લ͔Βɺࣾ಺ͷଟ͘ͷϢʔβʔ͕ࢀর͢Δ෼ੳDB͕ετϨʔδͷṧഭʹԿ౓΋ݟ෣ΘΕࣾ ಺ΠϯϑϥνʔϜͷϦιʔεΛ৯͏ঢ়ଶʹ͍ؕͬͯͨɻ 
 ෼ੳج൫෦͸͜ͷϦϓϨʔεΛ׬਱͢ΔͨΊʹ্ཱ͕ͪͬͨଆ໘΋͋ͬͨɻ Ͳ͏৐Γӽ͔͑ͨʁ • গਓ਺ͷνʔϜͰ͋ͬͨͨΊۓٸͷґཔʢETLͷϦΧόϦ౳ʣҎ֎͸ఀࢭ͠ϦϓϨʔεʹ ूதͨ͠ • ҰํɺML/AIྖҬ΁ͷظ଴΋ߴ·͍ͬͯΔঢ়ଶͰ͋Γͪ͜Β΋Χόʔ͢Δඞཁ͕͋ͬͨ → Ϧιʔε֬อͷͨΊDatabricks, Fivetran, trocco®౳ͷπʔϧΛಋೖ͠Ϛωʔδυʹஔ͖ ׵͑ΒΕΔ෦෼Λஔ͖׵͑ͨ σʔλ૊৫෼཭ͷน 15
16. σʔλ૊৫෼཭ͷน ෼ੳج൫෦ʹࣾ಺Ϣʔβʔͷ੠͕ಧ͖ͮΒ͘ͳͬͨ େ͖ͳϦϓϨʔεϓϩδΣΫτ͕૸͍ͬͯͨͨΊɺϑϩϯτʹ෼ੳਪਐཱ͕ࣨͪج൫վળ͕བྷΉۓٸͷґཔ͚ͩύ εͯ͠΋Β͏ͱ͍͏ϑϩʔʹͳ͍ͬͯͨͨΊࣾ಺Ϣʔβʔͷ੠͕௚઀ಧ͖ʹ͍͘ঢ়ଶʹͳͬͨɻ Ͳ͏৐Γӽ͔͑ͨʁ • ෼ੳؔ࿈ͷґཔɾ૬ஊ૭ޱΛҰݩԽͨ͠ • ґཔ಺༰ʹԠͯ͡෼ੳਪਐ͔ࣨ෼ੳج൫෦͕ରԠ͢Δͱ͍͏ܗʹมߋ • ࣾ಺Ϣʔβʔʹσʔλ૊৫ͷҧ͍Λཧղͯ͠΋Β͍ɺґཔऀଆͰͲͪΒʹґཔ͢΂͖ࣄ৅͔͋Δఔ౓੾Γ ෼͚ͯ΋Β͏ → ݱࡏ͸෼ੳج൫෦ͱ௚઀ίϛϡχέʔγϣϯΛऔΔࣾ಺Ϣʔβʔ΋૿͑ͨ΋ͷͷɺ૊৫ߏ଄͕Θ͔Γʹ͍͘ͱ ͍ͬͨҙݟ͸ࠜڧ͘࢒Δ 16
17. ج൫վળͷน 2022೥ʙ 17
18. ج൫վળͷน • ෼ੳج൫෦ઃཱ౰ॳͷج൫࡮৽Λ৐ Γӽ͑ɺ࠾༻ʹ΋੒ޭ͠େ෯ʹνʔ ϜϝϯόʔΛ૿һͨ͠ • MySQLϚϧνϨϓϦͷ෼ੳDBΛ BigQueryʹஔ͖׵͑ͨ͜ͱͰɺ͜ ͷج൫Λࣾ಺ͷ෼ੳج൫ͷσʔλϨ ΠΫͱͯ͠׆༻͢Δํ਑͕ఆ·ͬͨ 18
19. ج൫վળͷน ϨΨγʔγεςϜ͔Βͷఫୀ ج൫࡮৽Λߦ͍ϞμϯͳσʔλϨΠΫ͕ߏங͞Ε͕ͨɺ 
 ґવͱͯ͠چγεςϜʢmf_etlʣΛ༻͍ͨETL΋ಈ͍͍ͯΔঢ়ଶ͕ଓ͍ͨ Ͳ͏৐Γӽ͔͑ͨʁ • ؅ཧର৅Λ࡟ݮ͢ΔͨΊ৽͍͠ύΠϓϥΠϯ΁ͷҠߦΛਐΊɺچγεςϜΛఫ ഇͨ͠ʢ͍ͯ͠Δʣ • چσʔληοτͱ৽σʔληοτʹσʔλΛฒߦసૹ͠ɺϢʔβʔ΁৽σʔλ ηοτΛࢀর͢ΔΑ͏ҠߦΛଅ͢೔ʑ͕ଓ͍ͨʢ؂ࠪϩά౳༻͍ͯɺچσʔλ ΁ͷΞΫηεΛݮΒ͍ͯ͘͠ʣ 19
20. ج൫վળͷน σʔλΧλϩάͷཁ๬͕૿Ճ ͔Ͷ͔ͯΒdmemoͱ͍͏σʔλϕʔευΩϡϝϯτ؅ཧγεςϜΛࣾ಺Ͱӡ༻͍͕ͯͨ͠ɺ؅ཧओମ͕ ෆ໌Ͱ͔֤ͭϓϩμΫτνʔϜͷࡋྔͰϝλσʔλΛهࡌ͢ΔΑ͏ͳঢ়ଶͩͬͨɻ෼ੳج൫ͷҰݩԽ͕ ਐߦ͠ɺվΊͯσʔλΧλϩά͕΄͍͠ͱ͍͏੠͕૿Ճͨ͠ɻ Ͳ͏৐Γӽ͔͑ͨʁ • yamlϕʔεͰϝλσʔλΛ؅ཧ͢Δ࢓૊ΈΛߏஙͨ͠ →yamlʹهࡌͨ͠಺༰͕BigQueryͷϝλ σʔλͱͯ͠ߋ৽͞ΕΔ • ϝλσʔλΛࢀর͢ΔͨΊͷࣾ಺αΠτΛߏஙͨ͠ →BQͷݖݶ͕ͳ͍Ϣʔβʔ΋Ͳ͜ʹͲ͏ ͍ͬͨσʔλ͕͋Δ͔Θ͔Δঢ়ଶʹͳͬͨʢݖݶͷա৒෇༩͕ੋਖ਼͞Εͨʣ 20
21. ·ͱΊ 21
22. ૊৫ɾ࠾༻ • ্ཱͪ͛ظ͸ΫΠοΫ΢ΟϯΛੵΈॏͶΔ͜ͱͰ෼ੳจԽͷਁಁΛਤΔ • ෼ੳ૊৫ͷ্ཱͪ͛͸΍Γ͍ͨ͜ͱ͕໌֬ͳ෼ੳνʔϜʹΤϯδχΞΛ഑ஔ ͯ͠ελʔτͨ͠΄͏͕୹ظɾதظͷΰʔϧ͕໌֬Ͱ΍Γ͖Δ͜ͱ͕ग़དྷΔ 
 → ෼ੳͷن໛ײͳͲʹ߹Θͤͯ૊৫ମ੍ΛมߋͰ͖Δॊೈ͞΋ඞཁ • ΞφϦετͱΤϯδχΞͷൺ཰Λߟ͑ͯ࠾༻͠ͳ͍ͱ෼ੳจԽͷਁಁʹର͠ ͯج൫ͷߴ౓Խ͕௥͍͔ͭͣख٧·ΓʹͳΔ ·ͱΊ 22
23. ૯ׅ • “σʔλΤϯδχΞ”ͱ͍͏ϩʔϧͰͷਓһ֬อ͸฼ूஂ΋গͳ͘Ή͔͍ͣ͠ 
 → গਓ਺Ͱ΋ຊ౰ʹूத͢΂͖ϙΠϯτʹ޲͖߹͏ҙࣝΛ࣋ͬͯɺϚωʔδυ ͳETL΍σʔλϚωδϝϯτΛࢧ͑ͯ͘ΕΔπʔϧΛಋೖ͢ΔͳͲ޻෉͕ඞཁ • େن໛ͳج൫࡮৽͸෼ੳจԽͷਐԽΛ௕ظؒࢭΊͯ͠·͏ 
 → ৗʹར༻ऀ͔ΒͷϑΟʔυόοΫΛ΋ΒͬͯɺΞδϟΠϧʹվमɾΤϯϋϯ εϝϯτΛ͓͜ͳ͏ ·ͱΊ 23
24. We are hiring! גࣜձࣾϚωʔϑΥϫʔυ ͢΂ͯͷٻਓҰཡ (HRMOS) 24