リコーのデータ基盤の作り方

Amazon QuickSight 事例祭り ～誰でも簡単・クイックに始められるセルフBIサービス～
2019 年 1 月 30 日（水）
https://pages.awscloud.com/AmazonQuickSightSeminar20190130-jp.html

Customer case study #2---リコーのデータ基盤の作り方
株式会社リコー プラットフォーム統括本部
RSI開発センター PF開発室 インフラグループ グループリーダー 梅原 直樹 さま
【概要】
リコーでは、オフィスと現場をつなぐ各種エッジデバイスとクラウドサービスのデータを有効活用するために、AWS を利用したデータ基盤を構築しています。社内の多くの事業から使われるデータ基盤はどのようなものを提供していけばよいのか、道半ばではありますが紹介していきます。QuickSight に関してもデータ基盤の中でどのように利用されているのか、データ基盤のシステム構成についても言及します。

Transcript

1. Ϧίʔͷσʔλ ج൫ͷ࡞Γํ ʙ2VJDL4JHIUࣄྫࡇΓʙ /BPLJ
   6.&)"3"
   
2. ࣗݾ঺հ
3. കݪ
   ௚थ
   !OVNFIB ͏Ί͸Βɹɹɹͳ͓͖ w גࣜձࣾϦίʔɹϓϥοτϑΥʔϜ։ൃࣨɹΠϯϑϥάϧʔϓϦʔμ
   w ࣾ಺
   Ϛωʔδϟʔιϑτ΢ΣΞΤϯδχΞ
   w ࣾ֎
   "84
   4VNNJU
   5PLZP
   
   %FWFMPQFST
   4VNNJU
   
   J04
   &OUFSQSJTF
   
   %FWFMPQFST
   $POGFSFODF
4. "84ͱࢲ w "84
   4VNNJU
   5PLZP
   
   
   "84
   ͓٬༷ࣄྫ
5. w Ϧίʔͷσʔλج൫Λ࡞͍ͬͯΔʢಓ൒͹ͳʣ࿩
   w ΘΕΘΕ͸ͲͷΑ͏ͳσʔλج൫͕ඞཁͳͷ͔
   w ΘΕΘΕ͸ͲͷΑ͏ʹ2VJDL4JHIUΛར༻͍ͯ͠Δͷ͔ ຊ೔ͷ಺༰
6. "HFOEB ୈҰষ
   σʔλͷαΠϩԽ
   ୈೋষ
   σʔλɾυϦϒϯͷจԽ
   ୈࡾষ
   ࢖ΘΕΔσʔλج൫
   ୈ࢛ষ
   σʔλج൫͕͋Δҙຯ
7. ୈҰষ
   σʔλͷαΠϩԽ
8. w ೥ࠒ͔ΒΦϯϓϨ؀ڥʹͯϩάσʔλΛ׆༻
   w 3*$0)
   6$4͸άϩʔόϧʹӡ༻தͷϏδωε޲͚ͷϏσΦձٞ
   w ओʹγεςϜϞχλϦϯά౳Λ೔ৗతʹϦΞϧλΠϜʹ೺Ѳ
   ͱ͋Δࣄۀ 3*$0)
   6$4 ͷσʔλ׆༻ͷྺ࢙
9. w ҰํͰ,1*౳Ϗδωεʹඞཁͳσʔλ׆༻ͷཁ๬͸ଟذʹ౉Δ
   w σʔλ͕αΠϩԽ͓ͯ͠Γɺґཔͷ౓ʹσʔλऔಘπʔϧΛ࡞Δඞཁ͋Γ
   w ॊೈͳσʔλ׆༻͕Ͱ͖͍ͯͳ͍ঢ়ଶ ͱ͋Δࣄۀ 3*$0)
   6$4 ͷσʔλ׆༻ͷྺ࢙
10. w ೥ࠒ͔ΒΦϯϓϨ͔Β"84΁Ҡߦ
    w αΠϩԽ͍ͯ͘͠σʔλΛσʔλϨΠΫ΁ɻ"84ͱσʔλϨΠΫͷ਌࿨ੑͷྑ͕͞Ҿ͖ۚʹ
    w "UIFOBʹΑΔ౷Ұ͞Εͨ*'Ͱ͋ΒΏΔݕࡧ͕Մೳʹ ͱ͋Δࣄۀ 3*$0)
    6$4 ͷσʔλ׆༻ͷྺ࢙
11. w શମͷ໿ׂ͸σʔλ੔උʹཁ͢Δ
    w ༷ʑͳσʔλͷಛੑʹରͯ͠ɺͲͷΑ͏ʹΞϓϩʔν͢Δ΂͖ͳͷ͔
    w ߋ৽ܥɺ஝ੵܥ౳ʹΑΔσʔλߏ੒
    w ύʔςΟγϣϯ΍ϑΝΠϧ෼ׂ౳ɺύϑΥʔϚϯεɾνϡʔχϯά
    w ଟذʹ౉ΔσβΠϯύλʔϯ ͔͠͠ɺσʔλϨΠΫͷߏஙʹ͸͕͔͔࣌ؒΔ
12. w σʔλ׆༻ͷ஌ݟ͕αΠϩԽ
    w ࣄۀͷݸผ࠷దԽʹΑΓσʔλ࿈ܞ͕ࠔ೉ ಉ͡Α͏ͳ࢓૊Έ͕ผͷࣄۀͰ্ཱ͕ͪΓ͸͡ΊΔ
13. w Ϋϥ΢υΛૣظʹ্ཱͪ͛΍͘͢ͳΓɺΫϥ΢υࣄۀͷ૿Ճ
    w ཚཱ͍ͯ͘͠ڪΕ ࣾ಺Ͱ૿͑ଓ͚Δ"84ΞΧ΢ϯτ
14. w ڞ௨σʔλج൫ΠϯϑϥΛߏங͢Δάϧʔϓ͕ʹઃཱ
    w ԣஅతͳσʔλج൫Πϯϑϥ׆༻૊৫ɺ$$P& $MPVE
    $FOUFS
    PG
    &YDFMFODF ͷ σʔλ׆༻൛
    w ंྠͷ࠶ൃ໌Λ΍Ίɺ౷੍ΛͱΓͳ͕Βɺσʔλ׆༻Λల։͍ͯ͘͠ Ϧίʔͷσʔλج൫͕ඞཁʹ
15. ୈೋষ
    σʔλɾυϦϒϯͷจԽ
16. w ࣄۀʹ͸ϑΣʔζ͕͋Δʢ1P$ʙࣄۀ֦େʣ
    w ਓʹ͸໾ׂ͕͋ΔʢεΩϧ΋ҧ͏ʣ
    w σʔλʹ͸छྨ͕͋Δʢଟذʹ౉ΔσβΠϯύλʔϯʣ ࣄۀਓσʔλͷશͯͷཁٻΛຬͨͤΔͷ͔
17. શͯΛຬͨ͢σʔλج൫͸
    ଘࡏ͠ͳ͍
    ༷ʑͳࣄۀɺਓɺσʔλʹͱͬͯཁٻΛຬͨ͢σʔλج൫͸໨ࢦ͞ͳ͍ͤͳ͍
18. w Ϧίʔͷσʔλج൫ͱͯ͠ɺσʔλ׆༻ͷෑډΛԼ͛ͯ͋͛Δ
    w ෼ੳ͚ͩͰ͸ͳ͘ ͋͘·ͰσʔλΛ׆༻͢ΔͨΊͷج൫
    w ͨ͘͞Μͷਓ͕ཉ͍͠σʔλʹ͙͢ΞΫηε͕Ͱ͖ͯҙࢥܾఆ͕Ͱ͖Δ
    w σʔλɾυϦϒϯͷจԽΛਁಁͤ͞Δ͖͔͚ͬΛ࡞Δ ͲͷΑ͏ͳσʔλج൫Ͱ͋Δ΂͖͔
19. w ڞ௨ԽʹΑΔলྗԽͱɺݸผԽʹΑΔརศੑ޲্Λ໨ࢦ͢
    w ڞ௨෦෼ʹΑΓɺσʔλ׆༻ͷϨʔϧʹͷͤΔ
    w ݸผԽʹΑΓɺࣄۀʹدΓఴͬͨ΋ͷʹ͢Δ ͲͷΑ͏ʹఏڙ͢Δͷ͔
20. w ڞ௨Խ͚ͩΛਐΊͯ΋ɺσʔλɾυϦϒϯͷจԽ͸ҭͨͳ͍
    w ݸผԽΛେࣄʹͯ͠ɺࣄۀʹΑΓఴ͍ɺࣄྫΛ૿΍͍ͯ͘͜͠ͱ͕ඞཁ
    w ख࡞ۀͰͷσʔλऩूΛࣗಈԽͯ͋͛͠Δ
    w ৗʹσʔλ͕ݟΒΕΔμογϡϘʔυΛఏڙͯ͋͛͠Δ
    w άϥϑΛ4MBDLʹྲྀͯ͋͛͠Δ
    w খ͍͞ੵΈॏͶ͕ɺσʔλɾυϦϒϯͷจԽͱσʔλج൫Λ੒௕ͤ͞Δ σʔλɾυϦϒϯͷจԽΛ࡞Δʹ͸
21. ୈࡾষ
    ࢖ΘΕΔσʔλج൫
22. σʔλج൫ͷߏ੒
23. σʔλج൫ͷߏ੒ w ࠷௿ݶͷڞ௨ج൫Λ࡞Γɺࣄۀຖʹ؀ڥΛఏڙ͢Δ
    w ݸผԽ͸ώΞϦϯάΛ͠ͳ͕Βɺඞཁͳ΋ͷΛఏڙ͍ͯ͘͠
    w কདྷతʹࣄۀ෦ؒͷσʔλ࿈ܞΛߟྀ͢Δ
    w ·ͣ͸ऩूɺ஝ੵɺՄࢹԽΛ؆୯ʹ
    w σʔλ׆༻͢ΔจԽΛਁಁ͍ͤͯ͘͞
24. ڞ௨Խ
    ෦෼ʹ͍ͭͯ
25. w σʔλϨΠΫͱͯ͠ͷ4ɻࣄۀຖʹόέοτΛఏڙ
    w ෳ਺ͷσʔλऩूύλʔϯͷఏڙʹΑΓσʔλΛྲྀ͠΍͘͢
    w Ϋϥ΢υͷशख़౓ͷҧ͍
    w Ϋϥ΢υʹෆ׳ΕͰҰࣜͷ؀ڥΛཉ͍͠ਓ͢Ͱʹσʔλ͕஝ੵ͞Ε͓ͯΓɺҰ෦ͷΈར༻͍ͨ͠ਓ σʔλऩू஝ੵͷ࢓૊Έ
26. w جຊҰͭͷΞΧ΢ϯτͰ4IBSFE
    4FSWJDFͱͯ͠ར༻͢ΔΞʔΩςΫνϟʔύλʔϯ Λ࠾༻
    w 'JOFHSBJOFE
    "$-ʹΑΓɺద੾ͳ*".Λ෷͍ग़͠ σʔλऩू஝ੵͷ࢓૊Έ https://www.slideshare.net/AmazonWebServices/ effective-data-lakes-challenges-and-design- patterns-ant316-aws-reinvent-2018
27. w σʔλͷ஝ੵํ๏ͷϊ΢ϋ΢ࣄྫఏڙ͕Ұ൪ͷ伴
    w "84ͷσʔλϨΠΫɾσβΠϯύλʔϯʢͭͷUJFSʣ
    w Ϧίʔ಺ͷσʔλ׆༻ͷσʔλ஝ੵύλʔϯ΍׆༻ࣦഊࣄྫɺϋϯζΦϯ σʔλऩू஝ੵͰେࣄͳ͜ͱ https://aws.amazon.com/jp/blogs/news/webinar-bb-datalake-2018/ Tier1 ඇߏ଄σʔλ Tier2 ൒ߏ଄σʔλ Tier3 ΞʔΧΠϒσʔλ
28. w &5-͸(MVFΛར༻͠ɺࣗಈखಈʹͯςʔϒϧ࡞੒
    w ʹ'JOFHSBJOFEʹΑΔΞΫηε੍ޚ͕Մೳ
    w ΫϩεΞΧ΢ϯτΞΫηεڐՄͷ෇༩΋Մೳʹ &5-
    
    ूܭ https://www.slideshare.net/AmazonWebServices/access- control-in-aws-glue-data-catalog-ant376-aws-reinvent-2018
29. w ूܭ͸جຊ"UIFOBΛར༻ɻ֤छϦϦʔεʹΑΓ࢖͍΍͘͢
    w ʹ"UIFOBͷ7JFX͕ϦϦʔε
    w ʹ"UIFOBͷ$5"4͕ϦϦʔε
    w "UIFOBͷ7JFX$5"4Λ*'ʹ͢ΔͱՄࢹԽͱͷ࿈ܞ͕ͱΓ΍͍͢
    w σʔλ஝ੵͷ5JFSʢඇߏ଄σʔλʣ͔Β5JFSʢ൒ߏ଄σʔλʣͷ&5-͕ ؆୯ʹ &5-
    
    ूܭ https://www.slideshare.net/AmazonWebServices/access- control-in-aws-glue-data-catalog-ant376-aws-reinvent-2018
30. ݸผԽ
    ෦෼ʹ͍ͭͯ
31. w ཁٻ͸ࣄۀਓ͝ͱʹશવҟͳΓɺڞ௨ͯ͠ఏڙͰ͖ͳ͍
    w ສೳͳπʔϧ͕ͳ͘ɺར༻಺༰ʹΑͬͯ#*πʔϧ͸બ΂ΔΑ͏ʹ
    w 2VJDL4JHIUͱ044πʔϧΛซ༻ͯ͠ར༻
    w ϝϦοτσϝϦοτ͸ਖ਼൓ର ՄࢹԽ ϝϦοτ αʔόϨε Πϯϑϥ؀ڥ՝ۚ σϝϦοτ "ENJO"VUIPS՝ۚ αʔό؅ཧ
32. ڞ௨ݸผ෦෼Λࣗಈతʹ࡞Δ w ਃ੥͔Βར༻·ͰΛলྗԽ
    w $MPVEGPSNBUJPOΛϕʔεͱ֤ͨ͠छ"1*ར༻ʹΑΔߏஙઃఆ
    w ࠷ॳ͸ࢼߦࡨޡతʹ࢖͏͜ͱ͕ଟ͍
    w ۀ຿࣌ؒʢྫ
    ʣ͚ͩՔಇͤͯ͋͞ͱ͸ࣗಈతʹམͱ͢
    w 2VJDL4JHIUͷ৔߹͸ෆཁ
33. QuickSightΛར༻ͨ͠ࣄྫ1
34. w ͓٬༷͔Βͷ໰͍߹Θͤʹରͯ͠ɺίϯλΫτηϯλʔ͕ి࿩ʹΑΔ໰਍
    w ίϯλΫτηϯλʔ಺Ͱ͸೺ѲͰ͖Δ৘ใ͕গͳ͘ɺαϙʔτʹΤεΧϨʔγϣϯ
    w ໰਍಺༰ΛجʹಠࣗπʔϧͰղੳΛߦ͏͕ɺޡΓ཰͕ଟ͘ख໭Γ͕ଟ਺ൃੜ ͱ͋ΔίϯλΫτηϯλʔͷࣄྫ
35. w ͓٬༷͔Βͷ໰͍߹Θͤʹରͯ͠ɺ2VJDL4JHIUΛར༻ͯ͠αʔϏεར༻ঢ়گ΍͓٬༷ ؀ڥΛ؆୯ʹݕࡧ
    w ໰਍߲໨͕ݮΓޡΓ཰ͷ௿Լɺ͓٬༷ରԠ࣌ؒͷ୹ॖ 2VJDL4JHIUʹΑΔڞ௨*'ͷఏڙ
36. w σʔλ͑͞੔උ͢Ε͹ɺαʔόϨε։ൃϨεӡ༻ϨεͰΞϓϦΛఏڙͰ͖Δ
    w ୯७ͳύϥϝʔλΛݕࡧ͢ΔίϯτϩʔϧΛ௥Ճ
    w ໰͍߹Θͤʹରͯ͠ೖྗ͢Δ͚ͩͰɺॴ๬ͷ৘ใ͕खʹೖΔ
    w ໰͍߹ΘͤʹΑΔɺηογϣϯ୯ҐͰͷ՝ۚ 2VJDL4JHIUʹΑΔγϯϓϧͳݕࡧ6*
37. w ίϯτϩʔϧύϥϝʔλϑΟϧλͷ͓͔͛ͰΠϯλϥΫςΟϒͳݕࡧ͕Մೳʹ
    w 2VJDL4JHIUͷσʔλιʔεͱͯ͠"UIFOBΛઃఆ͢Ε͹ɺϑΟϧλͳͲͰߜΓࠐΜͩ৚ ݅ࣜ͸42-ͷ8)&3&۟ͱͯ͠"UIFOB΁ͷΫΤϦʹຒΊࠐ·ΕΔ
    w 3FBEFSݖݶϥΠηϯε 2VJDL4JHIUͷܾΊͯ
38. QuickSightΛར༻ͨ͠ࣄྫ2
39. w ैདྷ·ͰͷϝʔϧͰͷ໰͍߹Θͤࣄ߲ʹؔͯ͠͸2VJDL4JHIUͷ%BTICPBSEΛ࡞੒
    w 3FBEFSݖݶΛ෇༩ͯ͠ɺඞཁͳͱ͖ʹ׆༻ͯ͠΋Β͏Α͏ʹ
    w σʔλఏڙґཔͷܰݮͱɺσʔλͷ׆༻ͷࣗ༝౓ͷ޲্ 2VJDL4JHIUʹΑΔؔ܎ऀ޲͚%BTICPBSEͷఏڙ
40. w ੩తαΠτ΁ͷ૊ΈࠐΈ
    w Ӿཡऀຖʹ3FBEFSݖݶ͕ඞཁͱ͍͏ن໿
    w Ϣʔβೝূ
    w ൚༻༻్Ͱͷσʔλ෼ੳ
    w ϥΠηϯεͷ໰୊Ͱ"VUIPSݖݶҎ্ͷׂ౰ӡ༻͕೉͍͠
    w ద੾ͳ"$-
    w ෳ਺ͷࣄۀΛ૝ఆͨ͠Ϣʔβ؅ཧํ๏ 2VJDL4JHIUΛར༻Ͱ͖ͳ͔ͬͨࣄྫ
41. w αʔόϨεɾΞʔΩςΫνϟ
    w ӡ༻ίετͷ࡟ݮɻίϯϐϡʔςΟϯάϦιʔεΛؾʹ͠ͳͯ͘Α͍
    w 044ͱൺ΂ͯຊ൪؀ڥ޲͖
    w ηογϣϯ୯Ґͷྉۚܗଶ
    w 3FBEFSݖݶ
    w σʔλ͸ݟΔਓͷ΄͏͕ଟ͍
    w γϯϓϧͳ6*
    w ༨ܭͳ͜ͱ͕Ͱ͖ͳ͍Α͏ͳ࢓૊Έ 2VJDL4JHIUͷັྗ
42. w #*πʔϧͷҰͭͱͯ͠ɺదࡐదॴͰར༻ଅਐ
    w ͋͘·ͰࣄۀʹدΓఴͬͯɺఏڙํࣜΛબఆ
    w ֤छ#*πʔϧ͸೔ਐ݄าɻ֤छ#*πʔϧͷಛੑΛ೺Ѳ͠ɺదࡐదॴͰϢʔβ ʹఏڙ͍ͯ͘͠
    σʔλج൫ͱ2VJDL4JHIU
43. ୈ࢛ষ
    σʔλج൫͕͋Δҙຯ
44. ࠶ߟɿσʔλج൫͕໨ࢦ͢ͱ͜Ζ w Ϧίʔͷσʔλج൫ͱͯ͠ɺσʔλ׆༻ͷෑډΛԼ͛ͯ͋͛Δ
    w ͨ͘͞Μͷਓ͕ཉ͍͠σʔλʹ͙͢ΞΫηε͕Ͱ͖ͯҙࢥܾఆ͕Ͱ͖Δ ࣄྫΛ࡞Γల։͍ͯ͘͜͠ͱ͕Ұ൪େࣄ
    ࣄྫΛ૿΍͠ͳ͕Βɺσʔλج൫ͷλʔήοτΛ޿͛Δ
    σʔλج൫͸୭Ͱ΋؆୯ʹ࢖͑Δ΋ͷͰͳ͍ͱ࢖ΘΕͳ͍
45. ࠶ߟɿ࢖ΘΕΔσʔλج൫ ࣄۀͷσʔλͷத਎͕Θ͔͍ͬͯͳ͍ͱσʔλ׆༻͸͞Εͳ͍
    σʔλ׆༻Λ޿͍͛ͯ͘ͷ͸֤ࣄۀͷਓʹ͔͠Ͱ͖ͳ͍
    γεςϜͱͯ͠ͷσʔλج൫͚ͩͰ͸ͳ͘ɺ
    ώΞϦϯά΍αϙʔτ౳ɺΞφϩάͳରԠ͕ͱͯ΋େࣄ
    
46. ࠶ߟɿσʔλɾυϦϒϯͷจԽ σʔλج൫͸ɺσʔλɾΤϯδχΞϦϯάྗΛू݁ͤ͞Δ
    ɹσʔλ׆༻ͷͨΊͷΠϯϑϥ։ൃӡ༻
    ɹ੒ޭࣦഊࣄྫͷڞ༗ʹΑΔɺσʔλɾυϦϒϯจԽͷ͖͔͚ͬ
    ֤छࣄۀ΍ਓΛॿ͚ɺσʔλɾαΠΤϯεϏδωε΁εϜʔζʹܨ͛Δ΋ͷ
    ɹ෼ੳ͍ͨ͠ͱ͖ʹ͢Ͱʹσʔλ͸͋Δঢ়ଶʹ͢Δ
47. ࠶ߟɿ2VJDL4JHIU .-
    *OTJHIU౳ɺ
    ʮϏδωεʹ͓͚Δҙࢥܾఆʯͷ
    ࢧԉ͕Ͳ͜·ͰͰ͖Δ͔͕ࠓޙ伴ʹͳΔ
48. ୈҰষ
    σʔλͷαΠϩԽ
    ୈೋষ
    σʔλɾυϦϒϯͷจԽ
    ୈࡾষ
    ࢖ΘΕΔσʔλج൫
    ୈ࢛ষ
    σʔλج൫͕͋Δҙຯ ҰͭͷࣄۀͰ΋αΠϩʹͳΔɻࣄۀ΋૿͑Δ ࣄۀਓσʔλͷશͯͷཁٻ͸ຬͨͤͳ͍ɻσʔλ׆༻ͷϨʔϧʹͷͤΔ 2VJDL4JHIU͸͋͘·ͰՄࢹԽͷҰͭɻར༻಺༰ʹԠͯ͡બ୒ σʔλ͸࢖ΘΕͳ͍ͱҙຯ͕ͳ͍ɻΞφϩάͳରԠ΋େࣄ ·ͱΊ
49. Ϧίʔͷσʔλ ج൫ͷ࡞Γํ ʙ͓ΘΓʙ /BPLJ
    6.&)"3"