プライバシー保護の理論と実践

工学院大学「情報学先端技術」の講義資料です。

Transcript

1. プライバシー保護の理論と実践 LINEヤフー研究所 高倉 将吉 / Shokichi Takakura 2026/07/03 工学院大学「情報学先端技術」
2. © LY Corporation 高倉 将吉 LINEヤフー研究所 リサーチエンジニア 2 2018~ 2022 東京大学工学部計数工学科 2024~ LINEヤフー株式会社 Research Interest ⚫ Machine Learning ⚫ Optimization ⚫ Privacy Enhancing Technologies 2022~ 2024 東京大学情報理工学系研究科 数理情報学専攻修士課程
3. LINEヤフー研究所 5 ⚫ メディア・コマース・通信・AIを横断する多様な事業ポートフォリオを支える研究開発 ⚫ NLP, 音声, プライバシー, 機械学習など幅広い研究領域で活躍
4. 業務内容 6 ⚫ 最適な分散・共分散の推定手法 (AISTATS2026, DEIM優秀論文賞) <- 本日 ⚫ 連合学習の効率的な学習方法の提案 (AISTATS2026) ⚫ プライバシー保証つきデータ分析ライブラリをOSSとして公開 プライバシー保護技術に関する研究+開発 生成モデルのAlignmentに関する研究 ⚫ 複数の選好にモデルをalignさせるフレームワークを提案 (ICML 2026) ⚫ 深層学習はなぜうまくいくのか？の原理解明 (ICML 2023,2024) 機械学習の理論 修士課程 LINEヤフー 学部 ⚫ 線形システムの強化学習による制御 (IEEE Automatic Control) システム制御+強化学習
5. © LY Corporation データ活用におけるプライバシーリスク 差分プライバシーとは？ 連合学習への適用 (LINEにおけるスタンプ推薦） データ分析への適用 研究紹介: プライバシーを保証した最適な分散・共分散推定 01 03 02 04 05 8 本日の内容
6. © LY Corporation データ活用における プライバシーリスク 9
7. © LY Corporation 10 Netflix Prizeの再識別の問題 (2006) ⚫匿名化されていない外部のデータベース (IMDB) との突合によって、匿名化されていたコメ ントとユーザが対応付いてしまった ⚫8個の評価と日付 (2週間以内の精度) が分かれば99%の精度で個人を特定できた Username Title Rate Alice AAA 5 BBB 4 DDD 2 Bob AAA 3 XXX 5 Pseudo ID Title Rate Comment 1234x AAA 5 BBB 4 DDD 2 It seems xxx 5678a YYY 4 XXX 4 Anonymized Netflix Movie ranking data Non-anonymous IMDB movie rating JOIN
8. © LY Corporation 11 k-匿名化 ⚫匿名化：データの特定や識別を困難にするために行うデータの加工処理 ⚫k-匿名化：DB内に、任意のレコードと同じ準識別子の組を持つ他のレコードがk-1個存在 ⚫準識別子 (Quasi Identifier)：組合せによって個人を識別し得る属性の集合。事前に定義 Age Gender Salary Alice 35 Female $ 100M Bob 47 Male $ 20M Charlie 16 Male $ 30M David 14 Male $ 1K Emma 67 Female $ 40M Franc 78 Male $ 150M George 82 Male $ 30K Hana 102 Female $ 60K Age Gender Salary 30-49 *** $ 100M 30-49 *** $ 20M <20 *** $ 30M <20 *** $ 1K 60-79 *** $ 40M 60-79 *** $ 150M 80<= *** $ 30K 80<= *** $ 60K k-匿名化 (k=2)
9. © LY Corporation 12 k-匿名化の限界 ⚫準識別子以外の属性に対する外部知識の突合により、k-匿名化を破られることがある ➔ 攻撃者の背景知識によっては匿名性が十分でない Age Gender Salary 30-49 *** $ 100M 30-49 *** $ 20M <20 *** $ 30M <20 *** $ 1K 60-79 *** $ 40M 60-79 *** $ 150M 80<= *** $ 30K 80<= *** $ 60K k-匿名化 (k=2) Age Gender Phone Alice 35 Female 123123 Bob 47 Male 345345 Charlie 16 Male 567879 David 14 Male 909090 Emma 67 Female 121212 Franc 78 Male 454545 George 82 Male 987654 Hana 102 Female 098789 Gender Salary Bob Male $ 20M Emma Female $ 40M George Male $ 30K ① ① ② Franc → Salary:$150M を特定できてしまう 敵対者の外部知識
10. © LY Corporation 13 差分攻撃 avg. salary = 700万円 avg. salary = 680万円 【Quiz】Aliceの年収は？ … … … … Alice Aliceが退職 30 engineers 29 engineers 2022年 2023年 ⚫複数の統計情報の「差分」から特定の個人に関する情報を推定 ⚫同じユーザを含むデータベースから生成した複数の統計情報が対象
11. © LY Corporation 14 Quizの回答 avg. salary = 700万円 avg. salary = 680万円 【Quiz】Aliceの年収は？ … … … … Alice Aliceが退職 30 engineers 29 engineers 2022年 2023年 700 x 30 – 680 x 29 = 1280万円 答え ⚫複数の統計情報の「差分」から特定の個人に関する情報を推定 ⚫同じユーザを含むデータベースから生成した複数の統計情報が対象
12. © LY Corporation 15 統計の安全な開示 – 頻度と差分のしきい値処理 - ⚫原理的には可能だが、ありとあらゆる差分を毎回チェックすることは容易ではない ⚫しきい値処理によって、利用不可能になるデータが多数生じる恐れ 年代 性別 人数 40代 男 1,200 40代 女 900 50代 男 2,400 50代 女 1,800 年代 性別 人数 40代 男 1,200 40代 女 895 50代 男 2,400 50代 女 1,800 年代 性別 人数 40代 男 1,200 40代 女 960 50代 男 2,400 50代 女 1,800 人数のしきい値：100 差分のしきい値：50 NG OK 時刻 T 時刻 T+𝜏 結託者を集められない程度に 大きいしきい値を設定 例)
13. © LY Corporation 16 メンバーシップ推論攻撃 あるデータがモデルの訓練に利用されたか否かを推定する攻撃 訓練に使用した データ 訓練に未使用の データ 0.7 0.1 ⋮ 0.05 0.25 0.12 ⋮ 0.45 Target Model Attack Model 1 0 Estimate as in train. data Estimate as out of train. data モデルの出力の違いから訓練データに含まれているかを判別
14. © LY Corporation 17 形式的なプライバシー保証の必要性 ⚫外部知識に脆弱 ：外部知識との突合によって、匿名化が破られる恐れ ⚫複数公開に非対応：複数の匿名化データの突合によっても、匿名化が破られる恐れ ⚫有用性維持が困難：データの複雑度、脅威の強さに応じて有用性の維持がより困難に 全てにヒューリスティックに対処することは困難 原理に基づいたプライバシー保護の必要性 (k-)匿名化の限界 ⚫差分攻撃 ⚫メンバーシップ推論攻撃 統計量・機械学習モデルへの脅威
15. © LY Corporation 差分プライバシーとは？ 18
16. © LY Corporation 19 差分プライバシーとは 統計的な出力にノイズ（ ）を加算することで正確な値をわからなくする 統計的 な出力 ノイズ を加算 𝜖 0 ∞ .5 1 2 strong weak 4 8 … 差分プライバシーが提供するもの • ノイズの加算に対する 理論的なプライバシー保護の尺度 • 所定のプライバシー強度 𝜖 の 達成に必要なノイズの導出
17. © LY Corporation 20 事例: 米国国勢調査 ⚫米国の2010年の国勢調査 ⚫40%以上の個人のレコードが復元され得ることが報告されている https://www2.census.gov/about/training-workshops/2021/2021-05-07-das-presentation.pdf 2020年の米国の国勢調査では差分プライバシーが導入されている
18. © LY Corporation 21 差分プライバシーの定義 𝛜, 𝛅 -差分プライバシー (DP): 隣接データベース𝐃, 𝐃′ (1レコードだけが変化し たデータベース）に対して、メカニズム 𝓜 の出力の分布がほとんど変わらない + ℳ + ℳ Output Probability Pr ℳ 𝐷 ∈ 𝑆 ≤ exp 𝜖 Pr ℳ 𝐷′ ∈ 𝑆 + 𝛿 𝐷 𝐷′ ℳ 𝐷 ℳ 𝐷′
19. © LY Corporation 22 アリスの例 … … Alice … … + ℳ + ℳ Output Probability ℳ 𝐷 ℳ 𝐷′ 7M JPY 6.8M JPY
20. © LY Corporation 23 ラプラスメカニズム 最もよく知られたランダム化メカニズム。所定のラプラス分布からノイズをサンプル ℳ 𝐷 = 𝑓 𝐷 + Lap 0, Δ𝑓 𝜖 ラプラスメカニズム 𝜖 = 10, Δ𝑓 = 1 𝜖 = 1, Δ𝑓 = 1 ノイズを平均:0, 標準偏差: 2 Δ𝑓 𝜖 の ラプラス分布からサンプル Δ𝑓 = sup 𝐷,𝐷′∈𝒟 𝑓 𝐷 − 𝑓 𝐷′ 1 ℓ𝟏 -感度 Δcount = 1 Δsum = 𝐶 Ex. 感度 𝚫𝒇 出力の取り得る最大の変化量 (1レコードの変化に伴う) [Dwork, ICALP2006] https://link.springer.com/chapter/10.1007/11787006_1
21. © LY Corporation 24 参考: ラプラスメカニズムはDPを満たす 任意の隣接データベースD, D′について、 三角不等式 a − b ≤ |a − b| より、 簡単のため1次元の場合 ⚫ラプラス分布の密度関数: Proof)
22. © LY Corporation 25 ラプラスメカニズムの実装
23. © LY Corporation 26 プライバシーパラメータ 𝝐 による影響 𝜖 = 0.1 𝜖 = 1.0 𝜖 = 0.01 𝜖 = 10 Weak Privacy Protection Strong Privacy Protection 𝝐 の大きさを上下させることでプライバシーと有用性のトレードオフが現れる
24. © LY Corporation 27 プライバシー予算の管理 データの繰り返し利用に伴う累積的なプライバシーの消費を 𝜖𝑖 の合成によって導出 → 事前に定義したプライバシー予算の範囲内で、応答可否を判断できる satisfying 𝝐𝟏 -DP satisfying 𝝐𝒌 -DP … Query 𝒒𝟏 Query 𝒒𝒌 𝝐𝟏 𝝐𝟏 𝝐𝟐 𝝐𝟏 𝝐𝟐 𝝐𝒌 … … decline 累積プライバシー消費 #Query (data access) プライバシーの合成 (Privacy Composition) 𝜖𝑡𝑜𝑡𝑎𝑙 = ∑𝜖𝑖 クエリ応答 システム 機械学習
25. © LY Corporation 連合学習への適用 (LINEにおけるスタンプ推薦） 28
26. © LY Corporation 29 Federated Learning（連合学習） ⚫サーバーと多数のクライアントが協調する分散機械学習 ⚫クライアントはローカルに実施した学習の更新情報（ex. 勾配）だけをサーバーと共有 → 生データはクライアントに留まる Non-participants of FL Global Model
27. © LY Corporation 30 勾配から元のデータは復元できるか？ [Geiping+, NeurIPS2020] https://arxiv.org/abs/2003.14053 Yes! Gradient Inversion Attack
28. © LY Corporation 31 連合学習 + 差分プライバシー ⚫クライアントから送るモデルの勾配に対して差分プライバシーを適用 ⚫ノイズを加えることで元のデータに復元することは困難 ⚫しかし多くのクライアントで平均することで正しい方向にモデルをアップデート可能 Differential Privacy + +
29. © LY Corporation 32 「LINE」アプリのスタンプサジェスト ⚫「了解」等の文字を入力した際に、意味の近いスタンプを推薦表示する機能 ⚫より高い精度でユーザーの好みにあう提案をするため、連合学習と差分プライバシーを導入 White Paper（2023） https://linecorp.com/ja/security/article/460
30. © LY Corporation データ分析への応用 33
31. © LY Corporation 34 SQLによるデータ分析 Analyst Database KR JP TW 50 120 1 SELECT COUNT(*) FROM log GROUP BY region SELECT id, salary FROM employees ⚫ SQLを使うことで柔軟なデータ分析が可能 ⚫ 一方でその柔軟性ゆえにプライバシーを容易に侵害できてしまう
32. © LY Corporation 35 DPSQL Analyst Database SELECT COUNT(*) FROM log GROUP BY region SELECT id, salary FROM employees ⚫ SQLで記述可能な, DPを保証するクエリ結果のみ出力するシステム ⚫ 分析者にDPの知識がなくても利用可能 KR JP TW 50 + 5 120 - 3 1 DPSQL 個人特定に繋がるクエリはNG (例: ID表示). 集計しか許可しないよう制限. ノイズ加算(差分プライバシ)や, 度数の少ない結果を削除(しきい値基準)
33. © LY Corporation 36 事例: Data Clean Room 広告サービス 事業者データ 事業者データ Data Clean Room 広告サービス事業者データと外部データとを安全に掛け合わせて分析が可能. 出力結果を差分プライバシで保護 AWS, Snowflake, Google等が実用化
34. © LY Corporation 37 プライバシーと有用性のトレードオフ ⚫ 複雑な統計量の計算ではノイズの量が大きくなり有用性が大きく落ちてしまう ⚫ 当然分析者はできるだけ正確な統計量が知りたい COUNT SUM AVG VARIANCE COVARIANCE PERCENTILE 複雑な統計量をどのように計算すればプライバシー保証を保ちながら、 有用性の悪化を最小限にできるだろうか？ simple complex
35. © LY Corporation 研究紹介 38
36. Optimal Variance and Covariance Estimation under Differential Privacy in the Add-remove Model LINEヤフー研究所 高倉 将吉, リュウ センペイ, 長谷川聡
37. 背景 40 統計量をそのまま公開するとプライバシーが漏洩する恐れがある e.g.) 某高校を2013年に卒業した人の平均年収は約4000万円 平均・分散・共分散はデータの性質を理解するための基礎的な統計量 平均 分散 共分散 本研究 ⚫ 差分プライバシーを保証した分散・共分散推定における最適な推定方法を提案 ⚫ 他の統計分析にも利用可能なモーメント推定メカニズムとして一般化
38. 差分プライバシー（再掲） 41 Def. 𝜺-差分プライバシー 任意の隣接データセット 𝐃𝟏 , 𝐃𝟐 ∈ 𝒟 について、ランダム化関数 𝑴: 𝒟 → ℝ が以下を満たすとき𝑴 は 𝜺-差分プライバシー (DP) を満たす。 ただし、𝑺 は任意の可測集合。
39. 隣接データセット 42 Add-removeモデル Swapモデル x 10 20 30 x 10 20 30 20 片方のデータセットにデータ を一つ追加もしくは削除する ことでもう一方に一致する 片方のデータセットのデータ を一つ他のデータに置き換え ることでもう一方に一致する x 10 20 30 20 x 10 20 30 40 そのデータセットに入っているかどうかそのものが機微な情報である場合、 Add-removeモデルを用いるのが望ましい (e.g. 年収10M以上の人のデータ） しかし、多くの先行研究はSwapモデルを扱っている
40. 問題設定 43 有界区間上のn個のデータからAdd-removeモデルでDPを満たす 平均・分散・共分散の「最適な」推定量を構成したい 一般性を失わず𝒙, 𝒚 ∈ 𝟎, 𝟏 𝒏とする MSE: 最悪ケースMSE: 標準化MSE: 推定メカニズム ෠ 𝒇 の良さを測る指標: (最悪ケース）MSE
41. Swapモデルにおける推定 ⚫ 各統計量（平均・分散・共分散）の𝒍𝟏 -感度は 𝟏 𝒏 で抑えられる スケール 𝟏 𝒏𝜺 のラプラスメカニズムが適用可能 ⚫ Utility Swapモデルにおける 推定において最適 45
42. Add-removeモデルにおける推定 Add-removeモデルではデータ数 𝒏 も変化する 𝒍𝟏 -感度がバウンドできない！ データのモーメントをそれぞれ推定してから目的の統計量を計算する 例: 共分散 46 Post-processing Property: DPを満たす統計量から計算された統計量もDPを満たす
43. Naïve Approach（共分散） 47 𝒍𝟏 -感度 Step 1. モーメントの推定 Step 2. 共分散の計算 ノイズスケール が大きい
44. Naïve Approach（平均・分散） 48 Step 1. モーメントの推定 Step 2. 統計量の計算 平均 分散
45. Utility 49 Theorem 特に分散・共分散において、Swapモデルの場合と比べて誤差が大きい 本質的にSwapモデルよりAdd-removeモデルの方が難しいのだろうか？
46. Transformed Noise Addition [Kulesza et al. 2024] Swapモデルの場合と一致 平均の推定においてminmax最適 Transformed Noise Addition: f(D)を線形変換した後でノイズを加える 50 Utility 平均の場合: No!
47. 本研究の貢献 Q. Add-removeモデルにおいて、分散・共分散推定は Swapモデルの場合よりも難しいだろうか？ A. No! ⚫ Add-removeモデルにおける分散・共分散の誤差の下限を証明 ⚫ Bernstein基底を用いたモーメント公開のためのBezierメカニズムを提案 ⚫ Bezierメカニズムに基づく分散・共分散の最適な推定メカニズムを提案 本研究の貢献 51 ⚫ 分散・共分散推定は2次のモーメントも含むため平均よりも複雑な推定が必要になる ⚫ Transformed Noise Additionを適用しても誤差は依然として大きい
48. 推定誤差の下限 Theorem 任意の𝜺-差分プライバシーを満たすメカニズム𝑴について、以下が成立する ただし、 52 ⚫ 高Privacy領域 (𝜺 → 𝟎)では最悪ケースMSEは 𝟐 𝜺𝟐 よりも大きい ⚫ Swapモデルにおける下限と一致
49. 証明の概略 53 前提: 分散推定は共分散推定の特殊ケース (𝒙 = 𝒚) であるから分散の場合を考えれば十分 Step 1. 下限を破る分散の推定量 ෝ 𝒗 が存在すると仮定 Step 3. 和の推定量の誤差の下限 [Geng et al. 2014] に矛盾 Step 2. 分散の推定量から和の推定量を構成
50. 提案法: Bezierメカニズム Bernstein基底 Partition of Unity: Bezier行列 基底変換 Bezierメカニズム 54 テンソル積を利用することで多次元に拡張可能
51. 最適な共分散推定 55 Utility f 推定量 Bezierメカニズム 導出された下限に（𝜺 → 𝟎, 𝐧𝟎 → ∞ の極限で）一致！
52. 最適な分散推定 導出された下限に（𝜺 → 𝟎, 𝐧𝟎 → ∞ の極限で）一致！ 56 Utility f 推定量 Bezierメカニズム
53. 数値実験１ Naïveな手法に比べMSEが大幅に減少 𝜺 ≤ 𝟏のとき、ほぼ下限に一致 57
54. 数値実験２ ⚫ Bezierメカニズムに基づき分散・共分散以外の統計量を計算することも可能 ベースラインと比べ大幅に性能を改善 58
55. まとめ ⚫ Add-Removeモデルはデータ数も守るという意味で実用上も好まれるが、 Swapモデルに比べ既存研究が少なく、ナイーブな手法では誤差が大きい ⚫ 分散・共分散の推定という基礎的な問題でさえミニマックス最適なレート と最適なアルゴリズムは知られていない ⚫ Add-removeモデルにおける分散・共分散の誤差の下限を証明 ⚫ Bernstein基底を用いたモーメント公開フレームワークを提案 ⚫ 分散・共分散以外の統計量にも応用可能 ⚫ Bezierメカニズムに基づく分散・共分散の最適な推定メカニズムを提案 ⚫ Swapモデルと同じレートが達成できることを証明 本研究の貢献 59 背景
56. References [1] Kulesza, Alex, Ananda Theertha Suresh, and Yuyan Wang. "Mean estimation in the add-remove model of differential privacy." Proceedings of the 41st International Conference on Machine Learning. 2024. [2] Geng, Quan, and Pramod Viswanath. "The optimal mechanism in differential privacy." 2014 IEEE international symposium on information theory. IEEE, 2014. 60
57. © LY Corporation まとめ 61
58. © LY Corporation データ活用におけるプライバシーリスク 差分プライバシーとは？ 連合学習への適用 (LINEにおけるスタンプ推薦） データ分析への適用 研究紹介: プライバシーを保証した最適な分散・共分散推定 01 03 02 04 05 62 本日の内容
59. © LY Corporation