Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715

%BUB1MBUGPSN(VJEF ࣄۀΛ੒௕ͤ͞Δσʔλج൫Λ࡞Δʹ͸ %BUB&OHJOFFSJOH4UVEZ ʮ%8)ɾ#*ͷ͜Ε·Ͱͱ͜Ε͔Βʯ %BUB&OHJOFFSJOH4UVEZ QSFTFOUFECZ!ZV[VUBT

͸͡Ίʹ

8&#ʹެ։ࡁΈͰ͢%BUB&OHJOFFSJOH4UVEZ ɹࡱӨ΍ϝϞ͸ෆཁͰ͢ɻϦϥοΫεͯ͠ฉ͍͍͚ͯͨͩΕ͹ͱࢥ͍·͢ɻ ొஃऀͷݸਓతݟղͰ͢ ɹॴଐ૊৫΍୲౰Ҋ݅ͷݟղΛ୅ද͢Δ΋ͷͰ͸͋Γ·ͤΜɻສ͕Ұɺෆշʹײͤͯ͡͞͠·ͬͨ৔߹ɺ ɹશͯొஃऀຊਓͷ੹೚ʹΑΔͱ͜ΖͰ͢ͷͰɺొஃऀຊਓʹ௚઀͓໰͍߹Θ͍͚ͤͨͩΔͱ޾͍Ͱ͢ɻ μϛʔ৘ใΛަ͍͑ͯ·͢ ɹέʔεελσ Ο͸ෳ਺اۀͷࣄྫΛ౿·͑ͨμϛʔ৘ใͰ͢ɻ
ɹಛఆاۀͷ৘ใެ։΍শࢍɾ൷൑Λҙਤ͢Δ΋ͷͰ͸͋Γ·ͤΜɻ ༻ޠ΍πʔϧͷ঺հ͸ݫີͰ͸͋Γ·ͤΜ ɹࣗ͝਎΍ॴଐνʔϜͰͷཧղɾղऍ͕঺հ಺༰ͱҟͳΔ৔߹͸ɺదٓಡΈସ͍͚͑ͯͨͩΔͱ޾͍Ͱ͢ɻ εϥΠυຕNJO ɹؤுͬͯ෇͍͖͍ͯͯͩ͘͞ɻԿ͔ͭͰ΋࣋ͪؼ͍͚ͬͯͨͩΕ͹ͱࢥ͍·͢ɻ ɹ໔੹ɾ஫ҙࣄ߲

ɹొஃऀ 4IP:PLPZBNB !ZV[VUBT 1Z$PO+1ϕεττʔΫΞϫʔυ༏ल৆ ʮ1ZUIPOͱ#JH2VFSZʹΑΔ෼ੳج൫ͷ%FW0QTʯ
%FWFMPQFS`T4VNNJUՆΞϯέʔτຬ଍౓Ґ ʮࣄۀͷάϩʔεΛࢧ͑Δ%BUB0QTͷݱ৔ʯ !*5࿈ࡌهࣄ ʮ։ൃݱ৔ʹσʔλจԽΛਁಁͤ͞Δσʔλج൫େղ๤ʯ ,JOEMFਓؾ౓ϥϯΩϯάҐ ೥݄೔ ʰσʔλϚωδϝϯτ͕෼ͰΘ͔Δຊʱ

ɹ೔ຊʹ͓͚Δ%BUB0QTͷୈҰਓऀͱ͍͏͜ͱʹͳ͍ͬͯ·͢

͜ͷൃද͸ɺൃදऀ Ώͣͨͦ ͕ ʰ4PGUXBSF%FTJHO೥݄߸ʱʹ دߘͨ͠಺༰ʹ४ڌ͍ͯ͠·͢ ɹએ఻

σʔλج൫ͷߏங΍ӡ༻Λ୲౰͢Δ 5FDI-FBE4PGUXBSF&OHJOFFS ɹ૝ఆ͢Δର৅

ɹσʔλج൫ਓࡐ΁ͷ஫໨ धཁ l z ฏۉ೥ऩͷߴ͍৬छ͸…(தུ)… ʮData Warehouse ArchitectʯͰ 15ສ4800υϧʢ1702ສ8000ԁʣ
ITۀքͰฏۉ೥ऩͷߴ͍৬छ͸ιϑτ΢ΣΞΤϯδχΞ ϦϯάϚωʔδϟɺσʔλ΢ΣΞϋ΢εΞʔΩςΫτɺ ιϑτ΢ΣΞ։ൃϚωʔδϟͳͲɻถGlassdoor https://www.publickey1.jp/blog/18/itglassdoor.html

ɹσʔλج൫ਓࡐ΁ͷ஫໨ ڙڅ IUUQCIBUFOBOFKQFOUSZZV[VUBTIBUFOBCMPHDPNFOUSZ

ɹຊ೔ͷࢀՃਓ਺͸ࠃ಺τοϓن໛ʹʂ

Ͳ͏ج൫Λ࡞Ε͹ྑ͍͔Θ͔Βͳ͍ ͔ͤͬ͘ج൫Λ࡞ͬͨͷʹ࢖ΘΕͳ͍ ɹ࠷ॳͷམͱ݀͠

ɹԶͷߟ͑ͨ࠷ڧͷμογϡϘʔυ

ɹिؒͰ୭΋ݟͳ͘ͳΔ

ɹ࠷ॳʹඳ͍ͨج൫͸ɺ͓ͦΒ͘࢖ΘΕͳ͍ IUUQXXXQSPKFDUDBSUPPODPN

ʮ࢖ΘΕΔσʔλج൫ʯߏஙͷצॴΛֶͿ ɹຊ೔ͷΰʔϧ

ɹΞδΣϯμ 8IZσʔλج൫Λͳͥ࡞Δͷ͔ 8IBUσʔλج൫ʹ͸Կ͕ඞཁ͔ खܰʹσʔλΛࢀরͰ͖Δπʔϧ ҆શʹσʔλΛड͚౉ͤΔγεςϜ ҆৺ͯ͠σʔλΛѻ͑Δϓϩηε )PXσʔλج൫ΛͲͷΑ͏ʹ࣮ݱ͢Δ͔
σʔλͷऔಘݩͱͳΔର৅ σʔλΛू໿͢ΔͨΊͷςΫϊϩδʔ σʔλΛར༻ऀʹಧ͚Δ·Ͱͷઃܭྫ

8IZ σʔλج൫Λͳͥ࡞Δͷ͔

ɹސ٬ͷͨΊɿσʔλ׆༻ͰՁ஋Λఏڙ͢Δ ϓϩμΫτ Ϣʔβʔ ސ٬ %#ɾϩά ࢪࡦɾۀ຿ ૊৫ԣஅ ౷߹σʔλ FH%8)
ऩू సૹ %BUB0QTʹ͓͍ͯ ࠷େԽ͢΂͖໨తม਺ ͜ͷαΠΫϧͰ σʔλ͕ॆ࣮͢Δͱ ΑΓޮՌ͕ߴ·Δ ׆༻ Ձ஋

ɹݱ৔ͷͨΊɿૉૣ͘1%$"Λճ͢ ෼ੳऀ %BUB ͱݱ৔ 0QT ͕ԕ͍ͱɺ࢓༷೺ѲʹखؒऔΔ վળҊ͕ෲམͪ͞Εͳ͍ ɹɹσʔλ࢓༷ʹৄ͍͠ গͳ͘ͱ΋ௐࠪ͠΍͍͢
ݱ৔୲౰ऀ͕اըɾܭଌΛߦ͏͜ͱͰ ɹɹɾલޙ޻ఔͷϦʔυλΠϜΛ୹ॖͰ͖Δ ɹɹɾଌఆ݁ՌΛվળΞΫγϣϯʹܨ͛ΒΕΔ ੡଄ɾ ࡞ۀ ઃܭ ࢼݧɾ ݕূ ϦϦʔε ޮՌ ଌఆ ཁ݅ ఆٛ ཁٻ ੔ཧ طʹ΍͍ͬͯΔ ෼ੳཁٻ ϩάཁ݅ ܭଌ ΞΠσΞ

ɹܦӦͷͨΊɿαΠϩԽΛ๷͗શମ࠷దΛଅ͢ Ҿ༻ʰϏδωεϓϩηεͷڭՊॻʱ

ɹݱ৔ͱܦӦΛܨ͗ɺސ٬Ձ஋Λఏڙ͢ΔͨΊ 4&$*Ϟσϧ ސ٬Ձ஋ উͪےɾ671 ΤϯδχΞ σβΠϯ ηΩϡϦςΟ ๏຿ ࢧԉऀɾ։୓ऀͱͯ͠ͷ
σʔλΤϯδχΞ σʔλ ޿ใ ൢଅ ސ٬αϙʔτ

ɹྫൃදऀ͕࠷ۙߦͬͨσʔλ෼ੳ Ӧۀ׆ಈͷܭଌࢦඪΛ ΑΓશମࢹ఺ʹ ม͑ͨͱ͖ͷΠϯύΫτ͸ʁ #FGPSFܖ໿ΛऔͬͨΒΠϯηϯςΟϒ̋̋ԁ "GUFSܖ໿ޙʹϲ݄ղ໿͞Εͳ͔ͬͨΒΠϯηϯςΟϒ̋̋ԁ ,JOUPOF #JH2VFSZ
.Z42- &NCVML %BUB4UVEJP Ӧۀ ղ໿ #* &5- %8) ݩσʔλ

ɹσʔλ׆༻ͷϢʔεέʔε͸ଟذʹ౉Δ

ɹσʔλ׆༻ΛυϥΠϒ͢Δج൫Λ࡞Ζ͏ ଟ༷ͳσʔλιʔεͱଟ༷ͳϢʔεέʔε ར༻ऀ Λ ϦϘϯͷΑ͏ʹ݁ͼ෇͚Δ΋ͷ σʔλ׆༻ج൫

ɹରͳΒ௚઀ࢀরͰࡁΉ ɾࣄۀ΍૊৫͕খ͍͞ͱ͖͸σʔλͱར༻ऀ͸ͭͣͭ ɾ௚઀σʔλΛࢀর͢Δ͚ͩͰཁٻ͸࣮ݱͰ͖Δ ɾྫݸਓϒϩάͷӡӦͳΒ(PPHMF"OBMZUJDTͰ׬݁͢Δ

ɹ࣍ୈʹσʔλͷྲྀΕ͕ෳࡶʹͳΔ ɾࣄۀ੒௕΍ମ੍֦େͰϦϘϯͷ྆ଆ͸ଟ༷ʹͳΔ ɾ༷ʑͳཱ৔ͷਓ͕ಠࣗʹσʔλΛ࢖͓͏ͱ͢Δ ɾσʔλͷྲྀΕ͕ෳࡶʹͳͬͯࠞཚ͕ੜͯ͡͠·͏ ݩσʔλ Ճ޻ Ճ޻ Ճ޻ Ճ޻
෦ॺ ෦ॺ ෦ॺ ൢചه࿥ ͜Ε͕ച্ʂ ͜Ε͕ച্ʂ ͜Ε͕ച্ʂ

ߟ͑ํ΍༻్ʹΑͬͯఆٛ͸มΘΔ ফඅ੫ΛؚΉʁɹ్தղ໿͸Ͳ͜ʹܭ্͢Δʁ ೥ؒܖ໿͸݄࣍Ͱ҈෼͢ΔʁׂҾ͸Ͳ͜Ͱࠩ͠Ҿ͘ʁ ฦۚ͸ޙͰࠩ͠Ҿ͘ʁߪೖ࣌ʹ૎ͬͯࠩ͠Ҿ͘ʁ ΞϓϦ՝ۚ͸"QQMF΍(PPHMFͷܾࡁख਺ྉΛؚΉʁ ͋ΔνʔϜ͸ࣗ෼ͨͪͷࢪࡦͰ,1*͕େ෯ʹ্͕ͬͨͱओுͯ͠΋ ผͷνʔϜ͔Β͸Կͷࢀߟʹ΋ͳΒͳ͍਺ࣈʹݟ͑Δ σʔλ͕౷߹͞Ε͍ͯͳ͍ͱɺԣஅͰͷҙࢥܾఆ΍ௐ੔͕ࠔ೉ʹͳΔ
ɹྫ෦ॺ͝ͱʹʮച্ʯ͕ζϨΔ໰୊

ɹҙࢥܾఆʹ͸دΔล͕ඞཁ ࣄ࣮ͷ୯Ұ৘ใݯΛ͍࣋ͬͯΔ৔߹ʹ͸ɺ ΞφϦετ΍ଞͷҙࢥܾఆऀͱ͍ͬͨ ΤϯυϢʔβʔͨͪʹɺ༏ΕͨՁ஋Λ ఏڙ͢Δ͜ͱ͕Ͱ͖Δɻ൴Β͸૊৫಺Ͱ σʔλΛ୳͕࣌ؒ͢গͳͯ͘ࡁΉΑ͏ʹͳΓɺ σʔλͷར༻ʹΑΓଟ͘ͷ࣌ؒΛׂ͘͜ͱ͕ Ͱ͖ΔΑ͏ʹͳΔ͔Βͩɻ http://jp.techcrunch.com/2017/06/25/20170623ﬁve-building-blocks-of-a-data-driven-culture/

8IBU σʔλج൫ʹ͸Կ͕ඞཁ͔

ɹઃܭͷͭͷצॴ खܰʹσʔλΛࢀরͰ͖Δπʔϧ ҆શʹσʔλΛड͚౉ͤΔγεςϜ ҆৺ͯ͠σʔλΛѻ͑Δϓϩηε

खܰʹσʔλΛࢀরͰ͖Δπʔϧ

ɹσʔλΛूΊΔ͚ͩͰ͸/( Ϣʔεέʔε ར༻ऀ ʹ݁ͼ͔ͭͳ͚Ε͹ຊ຤స౗ ͍͔ʹʮར༻ऀʹಧ͚Δ͔ʁʯ͕େࣄ

ɹ.PEFMͱ7JFXΛ෼͚Δ .PEFMɿσʔλͷ஝ੵ΍Ճ޻ FHओཁࢦඪͷूܭϩδοΫ 7JFXɿσʔλͷࢀর΍׆༻ FH෦ॺผμογϡϘʔυ

ࣗ෼ʹͱͬͯͷϕετʺଞਓʹͱͬͯͷϕετ ൃදऀ͕ώΞϦϯάͨ͠ͱ͖ͷճ౴͸ݟࣄʹόϥόϥ ɹద੾ͳ7JFX͸෦ॺ΍໾ׂʹΑͬͯҟͳΔ Ϛʔέλʔ ΞφϦετ ϓϩσϡʔαʔ ΤϯδχΞ &YDFM
5BCMFBV 3FEBTI +VQZUFS/PUFCPPL ؾܰʹ਺ࣈΛม͑ͯ γϛϡϨʔγϣϯ ߴՁ֨ɾߴػೳ ෼ੳཁٻʹରԠ 42-͕ॻ͚Δͻͱ ͓खܰར༻ (JUͰίʔυ؅ཧ ϓϩάϥϜͷԸܙ

ɹπʔϧ͸ར༻ऀʹ߹ΘͤΔ ج൫։ൃͰ͸.PEFMͷڞ௨ԽʹҙࣝΛ޲͚͕͕ͪͩ 7JFXͷݸผ࠷దԽ΋ಉ͘͡Β͍ॏཁͳઃܭϙΠϯτ .PEFM શһ͕ಉ͡σʔλΛ ࢀরͰ͖ΔΑ͏ʹڞ௨Խ σʔλ඼࣭୲อͷͨΊʹ
ඞཁͳઃܭ σʔλ׆༻ଅਐͷͨΊʹ ඞཁͳઃܭ ֤ࣗͷϢʔεέʔεʹ ߹Θͤͯݸผ࠷దԽ 7JFX

ɹ࣮ݧ͠Α͏ɻ෼ੳ͠Α͏ɻ 2݁ہͲͷπʔϧ͕ϕετͳͷʁ "σʔλΛར༻͢Δ౰ࣄऀͱҰॹʹࢼͦ͏ɻ ͦͷਓʹͱͬͯԿ͕ϕετ͔͸ࢼ͞ͳ͍ͱ෼͔Βͳ͍ɻ ɹɹᶃؾʹͳͬͨπʔϧΛϐοΫΞοϓ ɹɹᶄެࣜαΠτͷσϞΛҰॹʹݟΔ ɹɹᶅʮྑͦ͞͏ͩʯͱࢥͬͨ΋ͷΛࢼ͢ ɹɹᶆ࢖͍΍͔ͬͨ͢Βຊ֨తʹಋೖ͢Δ

҆શʹσʔλΛड͚౉ͤΔγεςϜ

ɹڞ௨ՕॴΛ୲อ͢Δ࢓૊Έ͕ඞཁ ݩσʔλ Ճ޻ Ճ޻ Ճ޻ Ճ޻ ෦ॺ ෦ॺ ෦ॺ
ൢചه࿥ ͜Ε͕ച্ʂ ͜Ε͕ച্ʂ ͜Ε͕ച্ʂ

ɹσʔλͷ֊૚Λ෼͚Δ %BUB1MBUGPSN ϨΠΫ ΢ΣΞϋ΢ε Ϛʔτ

ϩάΛՃ޻ͤͣͦͷ··ͭͷγεςϜʹू໿ͨ͠΋ͷ ɾԿ΋Ճ޻͍ͯ͠ͳ͍ɺͨͩͷίϐʔͰ͋Δ͜ͱ͕ॏཁ ɾ΋͠Ճ޻ࡁΈͷσʔλ͔͠࢒͍ͬͯͳ͍ͱɺޙͰʮ͜ͷ ɹՃ޻ํ๏͸ؒҧ͍ͬͯΔʯͱ൑໌ͨ͠ͱ͖ʹ௚ͤͳ͍ ɾσʔλϨΠΫʹݩσʔλ͕͋Ε͹ɺௐࠪ΍ࣄޙमਖ਼͕Մೳ
ɹσʔλϨΠΫ

ɹσʔλ΢ΣΞϋ΢ε ෳ਺σʔλΛ౷߹ɾ஝ੵͯ͠ɺ෼ੳ޲͚ʹ੔ཧͨ͠΋ͷ ɾۀ຿υϝΠϯ஌ࣝΛσʔλϞσϧʹ൓ө͢Δ͜ͱ͕ॏཁ ɾݩσʔλͰ͸࢖͍উख͕ѱ͘ɺ͔ͱ͍ͬͯಛఆ༻్ʹݶఆ ɹ͢ΔͱԠ༻Ͱ͖ͳ͍ɺͱ͍͏χʔζΛຬͨ͢ ɾྫɿෳ਺%#͔Βސ٬*%Ͱඥ෇͚ͨʮސ٬৘ใςʔϒϧʯ

ɹσʔλϚʔτ ಛఆͷར༻ऀɾ༻్޲͚ʹσʔλΛՃ޻ɾ੔ཧͨ͠΋ͷ ɾϢʔεέʔε͝ͱʹ࠷దԽ͞Ε͍ͯΔ͜ͱ͕ॏཁ ɾύϑΥʔϚϯεΛؾʹͤͣʹେྔσʔλΛॲཧͨ͠Γɺ ɹෳࡶͳूܭΛͤͣʹࢦඪΛݟΔ͜ͱ͕Ͱ͖Δ ɾ࠷ऴతʹ&YDFMͰूܭ͢ΔͳΒͦͷγʔτ͕σʔλϚʔτ

ɹ૚ߏ଄ʹ͓͚ΔͭͷྲྀΕ σʔλϚʔτ ༻్ಛԽ σʔλ΢ΣΞϋ΢ε υϝΠϯ஌ࣝ σʔλϨΠΫ ݩσʔλ σʔλύΠϓϥΠϯʹ͓͍ͯػց͕ॲཧ͢ΔྲྀΕ ࣄۀ΍γεςϜͷ
શσʔλΛίϐʔ͢Δ μογϡϘʔυ΍ ϨϙʔτͱରʹͳΔ ։ൃϓϩηεʹ͓͍ͯਓ͕ؒઃܭ͢ΔྲྀΕ ूܭɾ෼ੳύλʔϯΛ੔ཧ ˺සग़σʔλ ᶃ ᶄ ᶅ ᶃ ᶃ ᶄ

lFOPLJMPH@@EBUBMBLF@@NZTRMVTFSTz ͱ͍͏σʔλͳΒ Ͱ͋Δ͜ͱ͕ͻͱ໨Ͱ෼͔Δ ɹྫ#JH2VFSZͷ໋໊نଇͰ؅ཧ͢Δ FOPLJMPH ΤϊΩϩά ͱ͍͏8&#αΠτ
σʔλऔಘݩ͸.Z42-ͷVTFSTςʔϒϧ Ճ޻ͤͣʹίϐʔ͚ͨͩ͠ͷݩσʔλ

҆৺ͯ͠σʔλΛѻ͑Δϓϩηε

ɹαʔϏεϨϕϧͷ߹ҙ ɾ෦ॺ΍༻్͝ͱʹ҉໧తʹظ଴͞Ε͍ͯΔ඼࣭Λચ͍ग़͢ ɾ඼࣭໨ඪʹ͍ͭͯؔ܎ऀͱ߹ҙ͢Δ ྫ ༻్ ໿ଋ૬ख ࿈བྷઌ ར༻σʔλ ظ଴඼࣭
ະୡ࣌ͷӨڹൣғ ೔࣍ Ϩϙʔτ Ϛʔέλʔ 4MBDL EBJMZ@LQJ #JH2VFSZͷ ച্ςʔϒϧ ຖӦۀ೔ͷ࣌·Ͱʹ ܽଛͳ͘લ೔ച্͕ Ϩϙʔτ͞ΕΔ͜ͱ ച্ঢ়گʹԠͨ͡ ࢪࡦ͕ଧͯͳ͘ͳΔ ʢػձଛࣦʣ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ ʜ

ɹΠϯγσϯτରԠͷ࢓૊ΈԽ ظ଴඼࣭͕ຬͨ͞Εͳ͍ͱ͖ʮͲ͏ରԠ͢Δ͔ʯΛఆٛ ྫσʔλ࿈ܞόονδϣϒͷΤϥʔ ਂ໷ٳ೔Ͱ΋ରԠҊ݅ΛࢭΊͯରԠҊ݅ͱௐ੔ ༏ઌॱҐ ࠶࣮ߦˠμϝͳΒ୅ସσʔλҊ಺ˠؔ܎ऀʹϨϙʔτ ରԠखॱ

ɹΦϖϨʔγϣϯΛܕԽ͢Δ

ɹ඼࣭Λܭଌ͢Δ ظ଴ͱ࣮੷Λܭଌ͠ɺσʔλΛݟͳ͕Βվળ͢Δ ຖӦۀ೔ͷே࣌·Ͱʹച্͕ूܭ͞ΕΔ͜ͱ ظ଴ ୡ੒౓ ೔0, ೔/( Ӧۀ೔
࣮੷ ʹѱԽ͠ͳ͍Α͏ νΣοΫ͢Δ ʹ޲্͢ΔΑ͏ γεςϜվम͢Δ

ɹఆظతʹݟ௚͢ ৼΓฦΓϛʔςΟϯάͰݱঢ় "T*T ͱظ଴ 5P#F Λൺ΂Δ 8IBU ԿΛ͢Δ͔ εϓϦϯτ
ϨϏϡʔ Ͳ͏΍ͬͯ͢Δ͔ )PX εϓϦϯτ ϓϥϯχϯά Ϩτϩ εϖΫςΟϒ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ σΠϦʔ εΫϥϜ

ɹϛʔςΟϯάͷΞδΣϯμʹվળΛ࢓ࠐΉ ɾ໨ඪΛຬͨͤΔΑ͏վળFHγεςϜػೳ௥ՃҊ݅Λىථ ɾ໨ඪ͕աେͳΒԼํमਖ਼FHະ࢖༻μογϡϘʔυͷআ٫ ɾ໨ඪ͕աখͳΒ্ํमਖ਼FHߋ৽ස౓Λຖिˠຖ೔Ͱ୲อ

)PX σʔλج൫ΛͲͷΑ͏ʹ࣮ݱ͢Δ͔

ɹ࣮૷ʹඞཁͳͭͷجຊ৘ใ σʔλͷऔಘݩͱͳΔର৅ σʔλΛू໿͢ΔͨΊͷςΫϊϩδʔ σʔλΛར༻ऀʹಧ͚Δ·Ͱͷઃܭྫ

σʔλͷऔಘݩͱͳΔର৅

ɹ8&#αʔϏεͷ୅දతͳσʔλιʔε ΞΫηεղੳπʔϧ 8&#αʔό 8&#αΠτ΍ εϚϗΞϓϦ ͷը໘ αʔόαΠυ ΞϓϦέʔγϣϯ σʔλετΞ
3%#.4 ,74FUDʜ 8&#αʔόϩά ΞϓϦέʔγϣϯϩά Ϣʔβʔ

ɹΞΫηεղੳπʔϧ (PPHMF"OBMZUJDT΍'JSFCBTF"OBMZUJDTͷϏʔίϯ ྫɿը໘ભҠ΍ϘλϯΫϦοΫ

ɹΞϓϦέʔγϣϯϩά 4QSJOH#PPU΍3VCZPO3BJMTͳͲͷΞϓϦέʔγϣϯ͕ -PHHFSͰग़ྗͨ͠ϩά

ɹσʔλετΞ 3%#.4΍,74ͷσʔλ ྫސ٬৘ใ΍ߪങ৘ใ 1PTUHSF42-΍.Z42-ͷ֤ςʔϒϧʹؚ·ΕΔϨίʔυ

ɹ8&#αʔόϩά "QBDIF)5514FSWFS΍/HJOYͷ ΞΫηεϩά΍Τϥʔϩά

ɹ஫ҙᶃݩσʔλͷ඼࣭ʹ஫ҙ͠Α͏ ج൫ͰͷΧόʔʹ͸ݶք͕͋ΔɺݩσʔλΛ௚ͦ͏ Ωϟϯϖʔϯ όφʔΛݟͨ Ϣʔβʔͷ ը໘ભҠߦಈΛ ෼ੳ͍ͨ͠ ը໘ભҠϩάʹ ϢʔβʔJE͕
ؚ·Εͯ ͍ͳ͔ͬͨʂ Ωϟϯϖʔϯ όφʔΛݟͨ ϢʔβʔJEΛ ൑ผͰ͖ͳ͍ ຬͨͤͳ͍ʂ ཁٻ σʔλ࢓༷ ج൫ɾ෼ੳ

ɹ஫ҙᶄݩσʔλͷ࢓༷Λ؅ཧ͠Α͏ Ұݴઆ໌Λॻ͚ͩ͘Ͱ΋σʔλར༻͕ϥΫʹͳΔ

ɹ஫ҙᶅखೖྗͷσʔλʹ΋໨Λ޲͚Α͏ ιϑτ΢ΣΞ͕ࣗಈͰੜ੒͢Δσʔλ͚ͩͰͳ͘ɺ ελοϑ͕खಈೖྗ͢Δσʔλ͕ඞཁͳ৔໘΋ଟ͍ ྫ 48ΤϯδχΞ͕఍߅ײΛ֮͑Δπʔϧ΋͋Δ͔΋ʜʜͰ΋ඞཁͳσʔλʂ 4BMFTGPSDF ,JOUPOF )VC4QPU Ӧۀͷ๚໰ઌϦετ
ൢଅΩϟϯϖʔϯҰཡ ࢢ۠ொଜϚελʔ 4QSFBETIFFU LSFJTFM ϓϩάϥϜఆٛ +BWBͷ&OVNͳͲ

σʔλΛू໿͢ΔͨΊͷςΫϊϩδʔ

ɹͭͷٕज़ཁૉ ,JOUPOF .Z42- &NCVML %BUB4UVEJP ݩσʔλ #*πʔϧ &5- %8)
"JSqPX ϫʔΫϑϩʔΤϯδϯ ˞ଞʹ΋%BUBͷ1SFQBSBUJPO΍$BUBMPHʹಛԽͨ͠πʔϧ͕͋Γ·͢ #JH2VFSZ ૝ఆߏ੒ྫ

ɹ#* CVTJOFTTJOUFMMJHFODF πʔϧͱ͸ σʔλͷ෼ੳ΍ՄࢹԽʹಛԽͨ͠πʔϧ ྫ؆୯ʹμογϡϘʔυΛ࡞ΕΔ3FEBTI΍%BUB4UVEJP

ɹ#*πʔϧͷબఆྫ ؍఺ બ୒ࢶͷྫ ΤϯλʔϓϥΠζ༻్Ͱ ༧ࢉΛ֬อ͍ͯ͠Δ ଟ͘͸ΦϯϓϨɾΫϥ΢υ྆ରԠ 5BCMFBV -PPLFS 2MJL
5IPVHIU4QPU %0.0 .JDSPTPGU1PXFS#* 1301SFNJVN 3FEBTI .FUBCBTF ,JCBOB (SBGBOB ແྉͰ࢖͍͍ͨ ແྉͷ৔߹ ࣗࣾߏங͕ඞཁ ߏஙෆཁ .JDSPTPGU1PXFS#* 'SFF (PPHMF%BUB4UVEJP ࢖͍׳ΕͨπʔϧͰࡁ·͍ͤͨ OPU#* .JDSPTPGU&YDFM (PPHMF4QSFBETIFFU

ɹ%8) EBUBXBSFIPVTF ੡඼ͱ͸ େྔσʔλͷอଘ΍ूܭʹదͨ͠γεςϜ ྫ42-Λॻ͚ͩ͘Ͱ෼ࢄॲཧΛ࣮ߦͰ͖Δ#JH2VFSZ (PPHMF$MPVEࢿྉΑΓҾ༻

ɹ%8)੡඼ͷબఆྫ ؍఺ બ୒ࢶͷྫ ॲཧن໛ ʙ̋̋1# ʙ̋̋5# Ϋϥ΢υ ϕϯμʔ TOPXqBLF
(PPHMF#JH2VFSZ "NB[PO3FETIJGU "NB[PO"UIFOB "[VSF4ZOBQTF"OBMZUJDT 5SFBTVSF%BUB ΦϯϓϨ ߏஙՄೳ 5FSBEBUB 044 )BEPPQ )%'4 )JWF 1SFTUP $MJDL)PVTF ʙ਺ඦ(# OPU%8) 3%#.4Λ෼ੳ༻ʹߏங .Z42- 1PTUHSF42- &-,ελοΫ &MBTUJDTFBSDI -PHTUBTI ,JCBOB ʙ਺े.#ɹ OPU%8) 4QSFBETIFFU΍&YDFMΛ%#୅ΘΓʹ࢖͏

ɹ&5- &YUSBDU5SBOTGPSN-PBE πʔϧͱ͸ σʔλͷநग़ɾม׵ɾ֨ೲΛߦ͏πʔϧ ྫɿϓϥάΠϯͰ༷ʑͳσʔλΛసૹͰ͖Δ&NCVML JO UZQFNZTRM IPTU)045@/".&
VTFS64&3@/".& QBTTXPSE1"44803% EBUBCBTF%"5"#"4&@/".& UBCMFQVSDIBTF TFMFDUJE VTFS@JE UJUMF DPOUFOUT DSFBUFE@BU VQEBUFE@BU PVU UZQFCJHRVFSZ BVUI@NFUIPEKTPO@LFZ KTPO@LFZpMF KTPO QBUI@QSFpYUNQ pMF@FYUDTWH[ TPVSDF@GPSNBU$47 QSPKFDU#2@130+&$5 EBUBTFUQPTUBQQ@@EBUBMBLF@@NZTRM BVUP@DSFBUF@UBCMFUSVF TDIFNB@pMFBSUJDMFKTPO GPSNBUUFS\UZQFDTW DIBSTFU65' EFMJNJUFS IFBEFS@MJOFGBMTF^ JO PVU

ɹ&5-πʔϧͷબఆྫ ؍఺ બ୒ࢶͷྫ ఆظόον ෼ຖ࣮ߦՄೳΛؚΉ ͍ΘΏΔ&"*ΛؚΉ ΦϯϓϨ ߏஙՄೳ
ίʔυ &NCVML ը໘ "45&3*"8"31 "MUFSZY $%BUB4ZOD *OGPSNBUJDB1PXFS$FOUFS 5BMFOE1MBUGPSN Ϋϥ΢υ ϕϯμʔ ίʔυ "84(MVF %BUBCSJDLT ը໘ USPDDP 3FDLPOFS "[VSF%BUB'BDUPSZ ετϦʔϛϯά ϝοηʔδΩϡʔؚΉ Ϋϥ΢υϕϯμʔ "NB[PO,JOFTJT "844/4 424 -BNCEB $MPVE1VC4VC "[VSF4USFBN"OBMZUJDT ΦϯϓϨߏஙՄೳ 'MVFOUE "QBDIF,BGLB -PHTUBTI "QBDIF4UPSN ྆ରԠ Ϋϥ΢υϕϯμʔ $MPVE%BUBqPX ΦϯϓϨ ߏஙՄೳ ෼ࢄॲཧ'8 "QBDIF4QBSL "QBDIFCFBN ϕʔεݴޠ 42- 1ZUIPO +BWB 4DBMB (P BXL

ɹϫʔΫϑϩʔΤϯδϯͱ͸ σʔλॲཧͷྲྀΕΛ؅ཧ͢Δπʔϧ ྫɿδϣϒͷґଘؔ܎ΛίʔυԽͰ͖Δ"JSqPX

ɹϫʔΫϑϩʔΤϯδϯͷબఆྫ ϫʔΫϑϩʔΤϯδϯɾδϣϒεέδϡʔϥػೳΛ࣋ͭ&5-πʔϧ΋͋Δ σϑΝΫτෆࡏ͕࣮৘ γΣΞ͸"JSqPXͷΑ͏ʹݟ͑Δ͕ʜ ͲΕ΋Ϋη͕͋ΔͷͰखʹೃછΉ΍ͭΛબΜͰ͍ͩ͘͞ ؍఺ બ୒ࢶͷྫ ίʔυ؅ཧ
"QBDIF"JSqPX -VJHJ %JHEBH "[LBCBO (6*؅ཧ +FOLJOT ࠷ۙ͸ίʔυ؅ཧػೳ͕௥Ճ͞Ε͍ͯΔ 3VOEFDL ͦͷଞ OPUϫʔΫϑϩʔΤϯδϯ NBLF DSPO "SHP +1 ༗ྉ

σʔλΛར༻ऀʹಧ͚Δ·Ͱͷઃܭྫ

ɹ$BTF૑ۀ௚ޙͷϝσ ΟΞاۀ ޿ࠂओ ϝσΟΞ ΞϓϦ ಡऀ Ϣʔβʔ ܝࡌྉ ޿ࠂදࣔ
ޮՌใࠂ ๚໰ɾӾཡ

ɹ$BTFγεςϜߏ੒ Ϣʔβʔ ("& 8FC"1* 4UBDL%SJWFS -PHHJOH ($4 ΞϓϦ -PH
#JH2VFSZ FYUFSOBM UBCMF 7JFX UBCMF %BUB4UVEJP Ӧۀ ޿ࠂओ 4UBDL%SJWFS-PHHJOH͸$MPVE-PHHJOHʹɺ(PPHMF%BUB4UVEJP͸ (PPHMF%BUB1PSUBMʹ໊শ͕มߋ͞Ε͍ͯ·͢ɻ ࢿྉʹΑͬͯݺͼ໊͕ҟͳΔͷͰɺ͝஫ҙ͍ͩ͘͞ɻ σʔλ ϨΠΫ σʔλ Ϛʔτ

ɹ$BTFղઆ ΞϓϦͱ࿈ܞ͢Δ8FC"1*͸(PPHMF"QQT&OHJOF ("& Ͱӡ༻ ˠΞΫηεϩά͸ඪ४Ͱ4UBDL%SJWFS-PHHJOHʹྲྀΕΔ ը໘ૢ࡞ͰҎԼΛઃఆ ɾ4UBDL%SJWFS-PHHJOHΤΫεϙʔτઃఆͰϩάΛετϨʔδ ($4
ʹग़ྗ ɾ#JH2VFSZ͕($4ϑΝΠϧΛࢀর͢Δ&YUFSOBM5BCMFΛઃఆ σʔλϨΠΫ ɾ#JH2VFSZͷ7JFXςʔϒϧΛઃఆͯ͠42-ͰूܭॲཧΛ࡞੒ σʔλϚʔτ ɾσʔλϚʔτΛࢀরͯ͠(PPHMF%BUB4UVEJPͰμογϡϘʔυΛදࣔ Ӧۀ୲౰͕঎ஊͷ৔ͰμογϡϘʔυΛݟͤͯ޿ࠂओʹޮՌΛใࠂ

ɹ$BTFઃܭϙΠϯτ γεςϜͷ։ൃ΍ӡ༻ʹ࿑ྗΛׂ͘༨༟͕ͳ͍ͨΊ Ϋϥ΢υΠϯϑϥ ($1 ʹඋ͑෇͚ͷϩά࿈ܞػೳΛϑϧ׆༻ ɾ&5-ͷͨΊͷαʔόΛཱͯͳ͍ ɾઐ༻ͷγεςϜΛ։ൃ͠ͳ͍ ɾίϯιʔϧը໘Λૢ࡞͢Δ͚ͩ ΋͠Ϗδωε΍૊৫͕੒௕ͯ͠
ຊ֨తͳσʔλύΠϓϥΠϯΛߏங͢Δ͜ͱʹͳͬͯ΋ γϯϓϧͳ࡞Γʹ͓͚ͯ͠͹ɺ؆୯ʹஔ͖׵͑ΒΕΔ

ɹ$BTFେखاۀͷ༧໿αΠτ ళฮ ༧໿ αΠτ Ϣʔβʔ ొ࿥ දࣔ ༧໿ঢ়گ ݕࡧɾ༧໿
αϒ γεςϜ αϒ γεςϜ αϒ γεςϜ αϒ γεςϜ

ɹ$BTFγεςϜߏ੒ #JH2VFSZ ఆظόον ɹɹɹɹ1ZUIPO ɹɹɹɹɹ4DSJQU جװ γεςϜ 8FC"1*࿈ܞ ετϦʔϛϯά
Ϩϙʔτ ෼ੳ ػցֶश ɹɹɹɹ+FOLJOT δϣϒ࣮ߦ

ɹ$BTFղઆ ҎԼͷߏ੒Ͱ#JH2VFSZʹσʔλΛ࿈ܞ ɾఆظతͳ&5-ॲཧɿ+FOLJOT͕δϣϒΛ࣮ߦ ɾ8FC"1*ఏڙπʔϧɿ1ZUIPOεΫϦϓτͰ)551 T ϦΫΤετ ɾ3%#.4΍ΞΫηεղੳπʔϧɿ&NCVMLΛར༻ͨ͠໷ؒόονͷ࿈ܞ ɾαʔόϩάɿ'MVFOUEΛར༻ͨ͠ετϦʔϛϯάͷ࿈ܞ
ར༻ऀ͸#*πʔϧܦ༝Ͱ#JH2VFSZʹΞΫηε ɾϚʔέςΟϯά୲౰ɿը໘্Ͱ$47Λμ΢ϯϩʔυͯ͠&YDFMͰूܭ ɾσʔλΞφϦετɿ5BCMFBVͰσʔλ෼ੳ ɾػցֶशΤϯδχΞɿ+VQZUFS/PUFCPPLͰQBOEBTSFBE@HCR

ɹ$BTFઃܭϙΠϯτ ྺͷ௕͍ձࣾͰखݎ࢝͘Ί͍ͨ ˠΦϯϓϨϛε؀ڥͰ࢖͑Δٕज़ཁૉΛॏࢹ˞#JH2VFSZΛআ͘ σʔλιʔε͕ଟ༷ ˠσʔλιʔεʹԠͯ͡ෳ਺ͷ&5-πʔϧΛ࢖͍෼͚Δ ˠखؒΛলͨ͘ΊʹՄೳͳݶΓ&NCVML΍qVFOUEΛ࠾༻ πʔϧ͝ͱʹ࣮ߦঢ়گΛ؅ཧ͢Δͷ͸ෛ୲ ˠͭͷδϣϒεέδϡʔϥͰऔΓ·ͱΊΔ
ˠࣾ಺ʹར༻࣮੷͕͋Δ+FOLJOTΛ࠾༻

ɹ$BTFେྔσʔλͷϝΨϕϯνϟʔ Ϣʔβʔ ΍ΓͱΓ Ϣʔβʔ ౤ߘ Ӿཡ Ӿཡ ౤ߘ Ӿཡ
Ӿཡ ౤ߘ ౤ߘ ౤ߘ ౤ߘ ΍ΓͱΓ ΍ΓͱΓ Ӿཡ Ӿཡ Ϣʔβʔ Ϣʔβʔ Ϣʔβʔ Ϣʔβʔ

ɹ$BTFγεςϜߏ੒ %# 3FQMJDB%# 3FBE0OMZ "OPOZNPVT%BUB "11 $MPVE$PNQPTFS %"(+PC.BOBHF #JH2VFSZ
-PPLFS "OBMZTU $4 .BSLFUFS $MPVE%BUBqPX "VUP4DBMFE&5- %VNQ'JMFT 5SBOTGPSNFE'JMFT (PPHMF$MPVE4UPSBHF ($4 &YQPSU%VNQ'JMF %"(3VOT +0#3VOT &YUSBDU H[ 5SBOTGPSN -PBE H[ &YUSBDU TDIFNBKTPO &YUSBDU H[ CRMPBE MPPLEBUB

ɹ$BTFղઆ $MPVE$PNQPTFS͸($1Ͱ"JSqPXΛಈ͔ͤΔϓϩμΫτϫʔΫϑϩʔΤϯδϯ $MPVE%BUBqPX͸ॊೈͳσʔλॲཧϓϩάϥϜΛ࣮ߦͰ͖ΔϓϩμΫτ&5-πʔϧ ʲʙʳ%#͔Βఆظతʹ%VNQϑΝΠϧ H[ ͱςʔϒϧఆٛ TDIFNBKTPO Λ ɹɹɹɹετϨʔδ
($4 ʹग़ྗͯ͠ɺ$MPVE$PNQPTFSʹ஌ΒͤΔɻ ʲʳ$MPVE$PNQPTFS͕$MPVE%BUBqPXʹରͯ͠+0#࣮ߦΛࢦࣔ͢Δɻ ɹɹ%8) #JH2VFSZ ʹಡΈࠐΊΔΑ͏ʹɺϑΝΠϧͷܗࣜΛॻ͖׵͑Δɻ ʲʙʳ$MPVE%BUBqPX͕%VNQϑΝΠϧ H[ ΛऔಘˠՃ޻ˠอଘ͢Δɻ ʲʙʳσʔλͷม׵͕׬ྃͨ͠Βɺ$MPVE$PNQPTFS͸($4͔Β ɹɹɹɹม׵ޙͷϑΝΠϧͱςʔϒϧఆٛΛऔಘ͠ɺ#JH2VFSZʹอଘ͢Δɻ ʲʳ#JH2VFSZʹอଘ͞ΕͨσʔλΛར༻ऀ͕-PPLFSͰࢀর͢Δɻ

ɹ$BTFઃܭͷϙΠϯτ ଞγεςϜ͔Β%#ʹແअؾʹΞΫηεͰ͖Δن໛Ͱ͸ͳ͍ ˠNZTRMEVNQͰϑΝΠϧΛΤΫεϙʔτ NZTRMEVNQͷ547$47ϑΥʔϚοτͰ͸#JH2VFSZʹ-PBEͰ͖ͳ͍ ˠσʔλՃ޻͕ඞཁ ͭͷδϣϒͰѻ͏σʔλྔ͕5#୯ҐʹͳΔ ˠ෼ࢄॲཧʹରԠͨ͠&5-ιϦϡʔγϣϯ͕ඞਢ
ˠαʔόΛࣗಈͰ্ཱͪ͛ˍਫฏల։Ͱ͖Δ$MPVE%BUBqPXΛ࠾༻ ˞%BUBqPX͸ม׵૷ஔͱͯ͠੹຿ΛׂΓ੾ΔͨΊ ɹ%BUBqPX͔Β#JH2VFSZʹ௚-PBEͤͣɺ($4ʹม׵ޙϑΝΠϧΛஔ͘

ɹ͓ΘΓʹ πʔϧɾγεςϜɾϓϩηεͷצॴΛཧղ͠ɺ σʔλऔಘݩ΍ར༻ཁٻΛ౿·্͑ͨͰɺ ࠷దͳςΫϊϩδʔΛ׆༻͢Δ͜ͱ͕ ʮࣄۀΛ੒௕ͤ͞Δσʔλج൫ʯΛ࡞ΔͨΊͷେݪଇͰ͢ ιϑτ΢ΣΞΤϯδχΞϦϯάͷ໘ന͞΍೉͕͠͞٧·ͬͨ ͱͯ΋΍Γ͕͍ͷ͋Δ෼໺ͩͱࢥ͍ͬͯ·͢
͜ͷొஃ͕গ͠Ͱ΋͓໾ʹཱͯͨΒخ͘͠ࢥ͍·͢

ɹؔ࿈ࢿྉ lσʔλϚωδϝϯτ͕෼ͰΘ͔Δຊz lࣄۀͷάϩʔεΛࢧ͑Δ%BUB0QTͷݱ৔z

ɹ4QFDJBM5IBOLT

͓·͑͸पғͷॿ͚ΛआΓΔ͜ͱͰ ͦΜͳ࣮੷͕ग़ͤͨͬͯΘ͚ͩ ͓·͑ࣗ਎͸جௐߨԋͷث͡Όͳ͍ Զࣗ਎ʹۀքΛ୅ද͢Δྗ͕ແͯ͘΋͔·Θͳ͍ ԶΛ௨ͯ͠ΈΜͳͷ஌ݟ͕ྗʹͳΕ͹͍͍ ͦΕ͕Πϯλʔωοτͷྗʕʕܨ͕Δ৺͕Զͷྗͩʂ ɹ4QFDJBM5IBOLT

͝ਗ਼ௌˍίϥϘϨʔγϣϯ ͋Γ͕ͱ͏͍͟͝·ͨ͠

Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataE...

Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715

More Decks by yuzutas0

Other Decks in Technology

Featured

Transcript