レガシー化したdata pipelineの廃止

データ基盤に制限なくデータセットを追加して行けば、運用コストは際限なく膨らんでいきます。
そこで必要になるのが、不要になったデータセットの廃止です。
この発表では、株式会社メルカリにおいて日次の利用者が150名以上居たデータセットをどのように廃止したのか事例を紹介します。

Data Engineering Study #11で発表しました。
https://forkwell.connpass.com/event/226276/

Link
* [meety] https://meety.net/matches/OxHNFIEoIlJk
* [twitter] https://twitter.com/__hiza__
* [blog記事] https://note.com/mercari_data/n/n09145e3f4740
* [job description] https://mercari.wd3.myworkdayjobs.com/ja-JP/mercari_external/job/Roppongi/Data-Analyst--Architect_JR-000000188-4?source=APPLICANT_SOURCE-3-150

Transcript

1. 1 ϨΨγʔԽͨ͠data pipelineͷഇࢭ 2021/12/1 0 גࣜձࣾϝϧΧϦ ӬҪ ৳໻ Data Engineering Study #11
2. 2 • ӬҪ৳໻ (@__hiza__ ) • גࣜձࣾϝϧΧϦ / Analytics Infra ॴଐ • Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢ ൃදऀ
3. 3 • BigQueryͷϢʔβʔ਺ 800໊/݄ • Analytics΍ML EngineerͷଞʹɺCS΍PdM΋σʔλΛར༻ ➡ ඇৗʹ׆ൃʹσʔλ͕ར༻͞Ε͍ͯΔ ϝϧΧϦͷσʔλ׆༻ͷݱঢ়
4. 4 • ෳ਺ͷγεςϜ(ຊ൪؀ڥ)͔ΒBigQueryʹσʔλΛΞοϓϩʔυ • Data pipeline΋ෳ਺ͷܥ౷͕͋Δ BigQueryΛத৺ͱͨ͠σʔλج൫ BigQuery BigQuery Console ຊ൪؀ڥ ਤ σʔλج൫ͷུ֓ɻ ➡ͷํ޲ʹσʔλ͕ྲྀΕΔɻ
5. 5 • ߴ͍ӡ༻ίετ / ো֐ϦεΫ ◦ node.jsʹΑΔಠ࣮ࣗ૷ͷϫʔΫϑϩʔΤϯδϯ ◦ ։ൃ։͕࢝8೥લɻओཁͳ։ൃऀ͕͢Ͱʹډͳ͍ ➡ ٕज़తʹແཧ͕͋Γɺ༷ʑͳ໰୊ΛੜΜͰ͍ͨ ໰୊Λ๊͑ͨͱ͋Δdata pipeline
6. 6 ͳͥഇࢭͰ͖ͳ͔͔ͬͨ? • ࠶ݱࠔ೉ͳσʔλ ◦ σʔλΛՃ޻ͭͭ͠BigQueryʹΞοϓϩʔυɻՃ޻ͷϩδοΫ͕෼͔Βͳ͍ ◦ Batch͕ಈ࡞͢ΔλΠϛϯάʹґଘͨ͠σʔλ
 • ۀ຿ͱ͍͏ݟ͑ͳ͍ґଘؔ܎ ◦ ͦͷσʔλʹґଘͨ͠KPI / ۀ຿͕͋Δ ◦ σʔλͷར༻ऀ͕ଟ͍ (150໊/೔ ) ➡ ഇࢭ΋ҡ࣋΋ࠔ೉ͳ൘ڬΈ͕ੜ·ΕΔ
 ͜ΕΛ”ϨΨγʔԽͨ͠data pipeline” ͱশ͍ͯ͠·͢
7. 7 • ඞཁͳͷ͸ ňٕज़తʹແཧ͕ͳ͘ɺۀ຿্े෼ͳ࢓༷ʼn ◦ ୯ʹٕज़తʹγϯϓϧͳ࢓༷͸ɺۀ຿తʹड͚ೖΕΒΕͳ͔ͬͨ ◦ ٕज़ͱۀ຿ͷτϨʔυΦϑΛߟྀͨ͠࢓༷͕ඞཁ
 • ňσʔλʼn ͱ ň଍ʼn Ͱղ͖໌͔͢ ◦ BigQueryͷjob historyΛ෼ੳͯ͠ར༻ऀΛಛఆ (σʔλ ) ◦ ώΞϦϯάΛ௨ͨ͡ۀ຿ཧղ (଍) Ͳ͏΍ͬͯഇࢭͨ͠ͷ͔? ᶃ
8. 8 • 150໊Ҏ্ͷར༻ऀɻ “प஌”͚ͩͰ͸Ҡߦ͕ਐ·ͳ͍ɻ • Job historyΛ෼ੳɻར༻ऀ਺ΛϞχλϦϯά͠ͳ͕ΒPDCAΛճ͢ Ͳ͏΍ͬͯഇࢭͨ͠ͷ͔? ᶄ ਤ ഇࢭର৅σʔλͷར༻݅਺ਪҠɻᶃͰར༻ऀΛ΁Β͢ࢪࡦΛ࣮ࢪɻ
9. 9 • ഇࢭʹ͸ଟେͳίετֻ͕͔Δ • ݹ͍data pipelineΛഇࢭͨ݁͠ՌԿ͕ಘΒΕΔͷ͔ ? ◦ ӡ༻ίετͷ௿ݮ ← ଌΓΑ͏͕͋Δ ◦ ো֐ൃੜʹΑΔۀ຿ఀࢭϦεΫͷ௿ݮ ← ఆྔԽ͠ʹ͍͘ • ޙ೔ஊ ◦ ར༻ऀ͕΄΅0ਓʹͳͬͨλΠϛϯάͰো֐ൃੜ ◦ ԾʹഇࢭͷऔΓ૊ΈΛਐΊ͍ͯͳ͔ͬͨΒ૬౰ʹେ͖ͳӨڹ͕ग़͍ͯͨ ➡ ޮՌ͕ఆྔԽ͠ʹ͍͘ ≠ ޮՌ͕௿͍
 ݟੵ΋Γ͕ग़དྷͳͯ͘΋΍Δ΂͖ࣄ͸΍ͬͨํ͕ྑ͍ औΓ૊Έͷҙٛ
10. 10 • ΋ͬͱৄ͘͠࿩͍ͨ͠ਓ: meetyͰ࿩͠·ͤΜ͔? • TwitterϑΥϩʔ͓ئ͍͠·͢! ◦ ϝϧΧϦͰͷ෼ੳ؀ڥ੔උʹ͍ͭͯϒϩάهࣄͷ౤ߘ΍ొஃͳͲΛࠂ஌͠·͢!
 
 
 
 
 
 
 
 • ਓࡐ΋ืूதͰ͢ એ఻ ϒϩάهࣄྫ: ࠓճͷऔΓ૊ΈͷΑΓৄࡉͳઆ໌