Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
本番データを安全に利用する
Search
sasaki nobuya
September 04, 2017
Technology
0
2.8k
本番データを安全に利用する
本番データをdumpし、個人情報を含むカラムを指定のマスク方式でマスクしたdumpファイルを吐き出すgemを作った。
sasaki nobuya
September 04, 2017
Tweet
Share
More Decks by sasaki nobuya
See All by sasaki nobuya
エンジニアがプロダクトに向き合える組織づくり / Improve Product Development
mnc
6
4.3k
エンジニアがプロダクトに向き合うための意思決定カイゼン
mnc
4
2.3k
はじめてのB2B SaaSデータモデリング in Builderscon 2019
mnc
9
4.3k
はじめてのB2B SaaSデータモデリング in 吉祥寺.pm#18
mnc
6
11k
AWSインフラ設計とDB設計からわかるB2B SaaSのおもしろさ
mnc
2
1.3k
B2B SaaS開発 Configurabilityとマルチテナントをがんばる α版編
mnc
2
660
Other Decks in Technology
See All in Technology
“パスワードレス認証への道" ユーザー認証の変遷とパスキーの関係
ritou
1
610
クォータ監視、AWS Organizations環境でも楽勝です✌️
iwamot
PRO
1
330
AIでめっちゃ便利になったけど、結局みんなで学ぶよねっていう話
kakehashi
PRO
0
280
Ops-JAWS_Organizations小ネタ3選.pdf
chunkof
2
180
Road to Go Gem #rubykaigi
sue445
0
890
読んで学ぶ Amplify Gen2 / Amplify と CDK の関係を紐解く #jawsug_tokyo
tacck
PRO
1
220
JPOUG Tech Talk #12 UNDO Tablespace Reintroduction
nori_shinoda
2
150
AI AgentOps LT大会(2025/04/16) Algomatic伊藤発表資料
kosukeito
0
140
AWS Control Towerを 数年運用してきての気づきとこれから/aws-controltower-ops-tips
tadayukinakamura
0
170
Рекомендации с нуля: как мы в Lamoda превратили главную страницу в ключевую точку входа для персонализированного шоппинга. Данил Комаров, Data Scientist, Lamoda Tech
lamodatech
0
770
Amazon CloudWatch Application Signals ではじめるバーンレートアラーム / Burn rate alarm with Amazon CloudWatch Application Signals
ymotongpoo
5
540
ワールドカフェI /チューターを改良する / World Café I and Improving the Tutors
ks91
PRO
0
120
Featured
See All Featured
Scaling GitHub
holman
459
140k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
178
53k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
StorybookのUI Testing Handbookを読んだ
zakiyama
29
5.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.1k
Git: the NoSQL Database
bkeepers
PRO
430
65k
GraphQLの誤解/rethinking-graphql
sonatard
71
10k
Why Our Code Smells
bkeepers
PRO
336
57k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2k
Transcript
2017 SpeeeKaigi #3 本番デー タを安全, 簡単に利用する 株式会社 Speee 佐々 木
延也 SpeeeKaigi 1
Pro le 佐々 木 延也 三重県出身 中日/HipHop/ ビシエド が好き 今年の8
月1 日 Speee 入社 前職はグルメ系Web サー ビスのWeb エンジニア/Android エンジニア SpeeeKaigi 2
みなさん 本番デー タでテストしてますか? SpeeeKaigi 3
本番デー タでテストするメリット SpeeeKaigi 4
本番デー タでテストするメリット 1. ユー ザー 目線にたってテストができる ( 失敗例) ユー ザー
は写真の順番にこだわりを持っていることが多い。 しかし開発環境の画像デー タが適当だったため、 そのことに 気づかずデー タ修正時に順番がバラバラになってしまった。 SpeeeKaigi 5
本番デー タでテストするメリット 2. 色々 なパター ンのデー タでテストがで きる ( 失敗例)
特定の条件下でインポー トしたデー タには通常のライフサイ クルでは存在するはずのデー タがなく、 それが原因で EXCEPTION が発生した。 SpeeeKaigi 6
本番デー タでテストするメリット 3. パフォー マンスの検証ができる ( 失敗例) 開発DB と本番DB で統計情報が異なっていたため開発環境で
はindex が使われていたが本番では使われていなかった。 そ れが原因でSlow クエリが頻発し一部のAP サー バー がダウン してしまった。 SpeeeKaigi 7
なぜ本番デー タのテストが活発で なかったのか? SpeeeKaigi 8
個人情報を保護してデー タを持っ てくるのが大変だから SpeeeKaigi 9
大変な理由① 1. 本番環境への影響を避ける必要性 mysqldump のオプションでテー ブルlock してしまったり するオペミスが起きうる。 レプリケー ションで持ってくる場合は本番DB
の設定を変 える必要がある。 SpeeeKaigi 10
大変な理由② 2. 元の形式を維持する必要性 理由 アプリのバリデー ションにかからないようにするため ( 例) 電話番号 元デー
タ ✕ ◯ 03-3333-4444 0000000000 03-1000-0000 SpeeeKaigi 11
大変な理由③ 3. DB のUnique 制約を回避する必要性 「 全て同じ文字列で埋める」 などの方法ではDB のUnique 制
約にかかってしまうことがある。 SpeeeKaigi 12
これらの要件を満たす、 いい解決 策がなかったので SpeeeKaigi 13
mozaic SpeeeKaigi 14
Gem を作った( まだprivate...) SpeeeKaigi 15
実現したい機能要件 1. 大規模なデー タのdump のパフォー マンスが問題ないこと 2. コマンド1つで実現できること 3. カラムごとにData
Masking 方式を切り替えられること 4. 適切なData Masking 方式がなかったら、 ユー ザー が自分 でRuby のマスク処理を行えること 5. MySQL, PostgreSQL に対応 SpeeeKaigi 16
実現したい機能要件 1. 大規模なデー タのdump のパフォー マンスが問題ないこと 2. コマンド1つで実現できること 3. カラムごとにData
Masking 方式を切り替えられること 4. 適切なData Masking 方式がなかったら、 ユー ザー が自分 でRuby のマスク処理を行えること 5. MySQL, PostgreSQL に対応 SpeeeKaigi 17
実現方法 SpeeeKaigi 18
3. カラムごとにData Masking 方式を切り替えられること --- user: root host: localhost port:
3306 db: name: sample_development rdbms: mysql tables: - name: owners columns: - name: phone_number method: tel # Data Masking 方式 - name: users columns: - name: mail method: email # Data Masking 方式 SpeeeKaigi 19
3. カラムごとにData Masking 方式を切り替えられること 組み込みのData Masking 方式 方式 マスク方法 tel
電話番号の体裁を保ったままマスクする email メー ルアドレスの体裁を保ったままマスクする shuf e 各レコー ドの順番を入れ替える blackout 任意の文字、 数字で埋める SpeeeKaigi 20
4. 適切なData Masking 方式がなかったら、 ユー ザー が自分 でRuby のマスク処理を行えること mask
メソッドとコンストラクタを持つRuby のクラスを指定 ディレクトリに格納し、YAML の設定ファイルにクラス名を 小文字で記載すると独自のマスク処理を行える。 module Mozaic::MaskMethod::Plugin class SampleMask def initialize(records, column_name); ;end def mask; ;end end end SpeeeKaigi 21
今後追加する予定の機能 Data Masking 方式のブラッシュアップ Plugin 機構の導入 差分更新できるようにする 環境変数からクレデンシャルを取得できるようにする PostgreSQL 対応
SpeeeKaigi 22
ご清聴ありがとうございました SpeeeKaigi 23