Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データマネジメントがちょっと楽になるBigQuery監査ログの使い方

nagai shinya
July 27, 2022
4.8k

 データマネジメントがちょっと楽になるBigQuery監査ログの使い方

社内のデータマネージメントにBigQueryの監査ログを活用する話しです。

datatech-jp Casual Talks #3で発表。
https://datatech-jp.connpass.com/event/252062/

資料内のリンク

1. データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog https://tech-blog.monotaro.com/entry/2022/03/04/090000

2. データレイク構築後の四方山話 #DPM / 20190905
https://speakerdeck.com/yuzutas0/20190905

宣伝
Twitter : https://twitter.com/__hiza__
Team Blog: https://note.com/mercari_data
Meety: https://meety.net/matches/OxHNFIEoIlJk

nagai shinya

July 27, 2022
Tweet

Transcript

  1. 2 • ӬҪ৳໻ (@__hiza__) • גࣜձࣾϝϧΧϦ / Analytics Infra Team

    ॴଐ • Analystʹཱ͍ۙ৔Ͱ෼ੳ؀ڥͷ੔උΛਐΊ͍ͯ·͢ ൃදऀ
  2. 4 ҎԼ2ͭͷϩάͷ͜ͱΛࢦͯ͠·͢ • INFORMATION_SCHEMA.JOBS_BY_* • BigQuery audit log (Data access)

    ڞ௨఺ • ͩΕ͕ɺ͍ͭɺͲͷςʔϒϧʹΞΫηεͨ͠ͷ͔ɺϩά͕औΕ Δɻ ͦΕͧΕͷओͳϝϦοτ • Audit log → view΁ͷΞΫηεϩά͕औΕΔɻྻ୯ҐͷΞΫηε ϩά͕औΕΔɻ • JOBS_BY_* → schema͕୯७Ͱूܭ͠΍͍͢ɻ גࣜձࣾϞϊλϩ΢͞·ͷ 
 σʔλ؅ཧʹ໾ཱͭϝλσʔλʹؔ͢ΔษڧձΛࣾ಺֎ Ͱ։࠵͠·ͨ͠ - MonotaRO Tech Blogͷهࣄ΋͓͢͢Ί Ͱ͢ ؂ࠪϩάͱ͸?
  3. 7 • ϝϧΧϦͷBigQueryʹ͋Δσʔληοτ਺ɻ ◦ ͓Αͦ1500+ ◦ શͯͷςʔϒϧΛҰ౓ʹ࢖͍΍͘͢վળ͢Δࣄ͸Ͱ ͖ͳ͍ɻ • ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭ͢Δͱ...

    ◦ BigQueryϢʔβʔͷ1ׂҎ্͕࢖ͬͨςʔϒϧ͸40 ΄Ͳʹա͗ͳ͔ͬͨɻ ׆༻ྫ ςʔϒϧ͝ͱʹར༻ऀ਺Λूܭͯ͠ϥϯΩϯά ňͲ͜ͷվળ͔ΒऔΓ૊Ήͱྑ͍ͷ͔ʼnٞ࿦ͷ͖͔͚ͬʹͳΔ ͜ͷ෼ੳख๏͸2019೥ʹyuzutas0͞Μ͕঺հͨ͠΋ͷͰ͢ https://speakerdeck.com/yuzutas0/20190905
  4. 10 • ن໛ͷݟੵ΋Γ ◦ มߋ͢ΔΧϥϜΛԿਓ͕ͲΜͳස౓Ͱ࢖ͬͯ ͍Δ͔ɻ ◦ ར༻ऀ͕ଟ͍ςʔϒϧͰ͋ͬͯ΋ɺΧϥϜ୯Ґ ͰݟΔͱͦΕ΄Ͳ࢖ΘΕ͍ͯͳ͍৔߹΋͋ Δɻ

    • ӨڹΛड͚Δਓͷಛఆ ◦ มߋ͢ΔΧϥϜΛ࢖ͬͨࣄ͕͋ΔਓͷΞΧ΢ ϯτΛಛఆͰ͖Δɻ ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛௐ΂Δ Өڹͷن໛΍ɺӨڹΛड͚Δਓ͕ௐ΂΍͘͢ͳΔ
  5. 11 • ૊৫৘ใͱͷඥ෇͚ ◦ ؂ࠪϩάʹ͸ΞΫηεͨ͠ਓ ͷΞΧ΢ϯτ৘ใ(email)͕ ࢒Δɻ ◦ ਓࣄDBΛleft join͢Δ͜ͱͰ

    νʔϜ୯Ґͷ෼ੳ͕Ͱ͖Δɻ • ӨڹΛड͚ΔνʔϜΛಛఆͰ͖ Δɻ ◦ ྫ: ໼ҹͰࣔͨ͠ྻ͸ओʹ Team D͕࢖͍ͬͯΔ ׆༻ྫ ྻ͝ͱͷΞΫηεঢ়گΛɺνʔϜ୯ҐͰूܭ ӨڹΛड͚ΔνʔϜΛௐ΂΍͘͢ͳΔ
  6. 15 • Α͔ͬͨΒTwitter ϑΥϩʔ͓ئ͍͠·͢ ◦ @__hiza__ Ξϯμʔόʔ͸2ͭͣͭ! ◦ ϝϧΧϦͰͷ෼ੳ؀ڥ੔උʹ͍ͭͯϒϩάهࣄͷ౤ߘ΍ొஃͳͲΛࠂ஌͠·͢
 •

    ϒϩά΋ݟͯݟ͍ͯͩ͘͞ ◦ Mercari Analytics BlogͰ🔍 ◦ σʔλͷ੔උ͚ͩͰͳ͘෼ੳͷهࣄ΋͋Γ·͢ɻ
 • MeetyͰ͓࿩͠·͠ΐ͏ ◦ اۀͷσʔλ෼ੳ΍σʔλͷ؅ཧʹ͍ͭͯΧδϡΞϧʹ࿩͍ͨ͠Ͱ͢! એ఻