プライバシーテックの動向 〜エンジニア視点でのプライバシーの理解とBigTech企業のプライバシーテックの動向〜

⽵之内隆夫 Takao Takenouchi
LINE株式会社ML Privacy Team Senior Privacy Evangelist

2022/8/23 「MLプライバシー論文読み会」での発表資料です
https://line.connpass.com/event/256697/

Transcript

1. プライバシーテックの動向 〜 エンジニア視点でのプライバシーの理解と BigTech企業のプライバシーテックの動向 〜 ⽵之内隆夫 (Takao Takenouchi) LINE株式会社 ML Privacy Team Senior Privacy Evangelist 2022.8.23 MLプライバシー論⽂読み会
2. はじめに l 背景 • プライバシー保護が重要となり、技術も進んでいる • 法制度も変わりつつあるが、エンジニア視点だとプライバシーの概念も分かりにくい → 本発表︓エンジニア視点でプライバシーの概念と技術動向の理解を⽬指す l 発表内容 • そもそもプライバシーとは︖ • プライバシーテックとは︖なぜ必要︖ • 技術の動向は︖ • BigTech企業(GAFAM)を中⼼に技術開発の動向 • 各技術の概要 2
3. ⾃⼰紹介 l 所属・⽒名 LINE株式会社 ML Privacyチーム Senior Privacy Evangelist ⽵之内 隆夫 （たけのうち たかお） l 業務内容 • Privacy Tech（プライバシー保護技術）の研究開発 • 前前職(NEC)・前職(デジタルガレージ)も含め本分野で10数年の経歴 • 過去プライバシーの法制度関係・業界団体の⽴ち上げにも携わる → プライバシーは⾒えない技術であるため重要 l 過去の活動の⼀例 • 匿名化 • 情報処理学会 プライバシー保護技術の特集 (2013年) • 秘密計算 • 情報処理学会 秘密計算の特集(2018年) • ⽇経クロステック 秘密計算の連載記事(2019年) • 業界団体「秘密計算研究会」など⽴ち上げ(2021年) l その他 • 早稲⽥⼤学 社会⼈向け講座（スマートSE）の講師、招聘研究員、学会委員、技術本翻訳 等 • 博⼠(⼯学)、経営学修⼠ 3
4. ⽬次 l 1. プライバシーとは(エンジニア視点で) l 2. プライバシーテックの動向と概要 • 差分プライバシ • 連合学習 • 秘密計算（MPC/TEE） l 3. BigTech企業の動向と事例紹介 l 4. LINEのPrivacyの研究開発
5. 1. プライバシーとは
6. プライバシーとは (エンジニア視点で) l プライバシーとは、時代・地域・⽂化等の社会的背景や個⼈の感覚で変化する複雑な概念 • 「⼀⼈にしておかれる権利」や「⾃⼰情報コントール権」と説明されることもあったが正確ではない様⼦ → 定義が不明確・変化するため、(エンジニアとしても、ある程度は) 動向を追う必要がある n 「⾃⼰情報コントール権」と説明する⽂献もあるが、 近年は間違った解釈であると⾔われている n プライバシーの特徴について （国内の⼤御所の堀部先⽣の⽂献引⽤） （プライバシーは） 無限の広がりと奥⾏きのある問題 「プライバシーの権利」ないし「プライバシー権」の 意味するところは、歴史的に異なる 出典︓堀部政男, "プライバシーを守ったITサービスの提供技術︓1．プライバシー・個⼈ 情報保護論議の世界的展開と⽇本", 情報処理,54(11),1106-1114 (2013-10-15) 出典︓堀部政男, “現代のプライバシー”,岩波新書 (1980) 出典︓⾼⽊浩光(語り⼿),⼩泉真由⼦(聞き⼿),宇壽⼭貴久⼦(撮影),"⾼⽊浩光さんに訊く、 個⼈データ保護の真髄 ̶̶いま解き明かされる半世紀の経緯と混乱", 情報法制研 究所, https://cafe.jilis.org/2022/03/18/160/ 6
7. プライバシー原則が重要で技術適⽤が必要 l 国際的にはOECDガイドライン※3、Privacy by Design原則※4があり、各国はEU GDPRに近い法制度 ⇨ 地域等で若⼲異なるが、ある程度国際的な合意が取られているプライバシーの原則に従うべき l 技術観点では「data minimization」の原則が重要 ⇨ 技術進展に伴い、適切なプライバシー技術(Privacy Tech※1)を継続的に適⽤していくことが重要 GDPRのプライバシ原則※2 原則 概要 Lawfulness, fairness and transparency 合法、公正、透明性ある⽅法で処理すること Purpose limitation 特定された明⽰的で正当な⽬的で、収集・処理すること Data minimization ⽬的達成のために関連※5する必要最⼩限のデータ収集・処理であること Accuracy 正確なデータであること Storage limitation ⽬的達成後は削除すること Integrity and confidentiality データの完全性、機密性を保つこと（セキュリティ技術） Accountability 上記原則の遵守を説明・証明できること ※1 Privacy Enhancing Technologies︓PETsと呼ばれる ※2 EUのプライバシ関係の規則であるGDPR(General Data Protection Regulation)は、⽇本・⽶国・アジア圏の法制度に強く影響しているため、 ここではGDPRのプライバシ原則（Privacy Principals)を抜粋。なお、原⽂ではminimisationであるが、本資料ではminimizationと表記している。 https://ico.org.uk/for-organisations/guide-to-data-protection/guide-to-the-general-data-protection-regulation-gdpr/principles/ 7 ※3 "Guidelines Governing the Protection of Privacy and Transborder Flows of Personal Data", OECD, 2018制定,2013更新 ※4 "Privacy By Design", アン・カブキアン博⼠, https://www.soumu.go.jp/main_content/000196322.pdf ※5 OECDガイドラインの第２原則 “Personal data should be relevant to the purposes(略)”の意味
8. 法制度とプライバシー保護の関係 l プライバシーを保護するためには法令遵守は最低限必須で、それ以上が望まれる 出典︓経済産業省, "プライバシーガバナンス", https://www.meti.go.jp/policy/it_policy/privacy/privacy.html 図︓個⼈情報保護法とプライバシ保護の関係 (経産省のプライバシーガバナンスの説明図) 8
9. プライバシーに関するBigTech企業の動向 l ユーザのプライバシー意識の⾼まりにより、プライバシーを経営戦略に位置付け l ⽬指すレベル︓法令遵守は当然として、それ以上のブランド構築を⽬指している様⼦ ⇨ 意義︓ ユーザ・企業からのデータ提供増加、データ分析促進、個⼈情報管理のリスク低減 など l ⾏っている活動︓Privacy Techは⾒え難いため「技術」だけでなく「コミュニケーション」も必要 技術 対外コミュニケーション Ø 先進的な技術開発と 事業への導⼊ Ø 従来技術の導⼊ Ø 最低限の情報開⽰ Ø 積極的なアピール Ø 取得個⼈情報の開⽰ Ø 法制度等の制定をリード プライバシー保護のレベル ⾏っている活動内容の例 ブランド構築の レベル 法令遵守の レベル 出典: https://time.com/6071901/apple-iphone-privacy-wwdc-2021-vpn/ https://about.fb.com/news/2019/04/f8-2019-day-1/ BigTech企業の例 9
10. 2. Privacy Techの動向と技術概要
11. トレンドのPrivacy Tech l EUやGartnerのレポート※1を参考に、トレンドのPrivacy Techである以下3技術を中⼼に説明 (1) Differential Privacy、(2)Federated Learning、(3) TEE/MPC 市場動向︓the 2021 Gartner Hype Cycle for Privacy カテゴリ 技術名 プライバシ保護の 「フレームワーク」 ②Federated Learning（連合学習） Data Clean room（データ結合分析）※2 FLoC/Topics※2 データ合成 PIR(Private Information Retrieval) プライバシー保護の 「技術」 （プライバシー保護の 実現のためのBuilding Block） ①Differential Privacy (差分プライバシ) ③TEE (Trusted Execution Environment) / MPC (Multi-Party Computation) k-Anonymization (K-匿名化) ゼロ知識証明 ※1 参考⽂献︓ ENISA(The European Union Agency for Cybersecurity ) Data Protection Engineering https://www.enisa.europa.eu/publications/data-protection-engineering ⽇本総研 プライバシー強化技術の概説と動向 https://www.jri.co.jp/page.jsp?id=101511 デロイトトーマツ, プライバシー強化技術の紹介動画「A day with PETs」, https://www2.deloitte.com/jp/ja/pages/deloitte-analytics/articles/a-day-with-pets.html 主要なプライバシー技術の⼀覧 プライバシ保護の「フレームワーク」と「技術」で整理 特にGAFAM等でも注⽬されている技術を発表者の観点で抽出 出典: https://infocert.digital/analyst-reports/2021-gartner-hype-cycle-for-privacy/ 11 ※2 学術的な蓄積は現状は少ないが、今後注⽬されると思われる技術 (Trusted Execution Environment / Multi-Party Computation)
12. トレンドのPrivacy Techの概要 l トレンドの3つのPrivacy Techは、「収集」「処理」「提供」の各フェーズで データを保護 • 各技術の詳細は資料後半に記載 Server User Clients Other Companies Analyst Data Data Data 収集 提供 /利⽤ 処理 (1) Differential Privacy (2) Federated Learning (3) TEE/MPC ビッグデータに適したデータ保護 • 数学的保証のある“ぼかし” • データ︓⼤ à ぼかし︓⼩ • プライバシーの定量化 収集データの最⼩化 • クライアント端末で学習 • 更新情報だけを収集 誰も関与できない秘密計算 • データを秘匿したまま処理 技術名 技術概要 プライバシ保護の箇所 TEE : Trusted Execution Environment MPC : Multi-Party Computation 12 “ぼかす” “減らす” “隔離する”
13. (1) Differential Privacy Differential Privacy(DP)とは • データ収集・解析の結果に対してプライバシーの⽔準を統計的に表現した尺度 • 統計的に「どれだけ他⼈と⾒分けがつかないか」をプライバシーパラメータ 𝝐 で表現 • Google, Apple, US Census等で実装され始めた Golden Standard 解決する課題 • いかなる外部知識との突合にも頑健なプライバシー保護の提供 (特別なノイズの加算によって) • データ活⽤に伴う累積的なプライバシー消費の定量的な管理 プライバシー 保護した処理 他⼈と⾒分けがつかないように 処理結果の出⼒にノイズ加算 (𝜖 程度に他⼈と⾒分けられない) プライバシー消費を定量的に管理可能 ノイズ加算 Privacy消費 累積 Analysis #1 𝜖 𝛜 Analysis #2 𝜖 𝟐𝛜 Analysis #3 𝜖 𝟑𝛜 13
14. Differential Privacyと匿名化との対⽐ 匿名化 Differential Privacy プライバシーパラメータ の決定⽅法 根拠なし 統計的根拠から決定 プライバシー消費の管理 不可 可能 外部知識との突合 匿名化が破綻 頑健 (破綻しない) 複数回のリリース 匿名化が破綻 プライバシー消費を積算 研究開発の活発度 ほぼ終結 ⾮常に活発 (特にGAFAMとトップ⼤学) 法律のサポート 匿名加⼯情報、等 (極めて曖昧な形) なし (追いついていない) 14
15. Differential Privacyの２つのプライバシーモデル 15 Rando mizer Rando mizer Rando mizer Server Server Rando mizer (a)セントラルモデル (b)ローカルモデル サーバーから第三者への統計値のリリース クライアントからサーバーへのデータ収集
16. (a) セントラルモデル(Central Differential Privacy) 16 メカニズム ℳ: 𝒟 → 𝒮 が 𝝐-差分プライバシー を満たすとは 任意の隣接データベースの組 𝐷, 𝐷! ∈ 𝒟 および 任意の出⼒の集合 𝑆 ⊆ 𝒮 に対して以下が成り⽴つときである Pr ℳ 𝐷 ∈ 𝑆 ≤ exp 𝜖 Pr ℳ 𝐷! ∈ 𝑆 NAME Cancer Alice Yes Bob No Cynthia No David Yes NAME Cancer Alice Yes Bob No Cynthia No David Yes Eve Yes NAME Cancer Alice Yes Cynthia No David Yes ℳ ℳ ℳ 𝐞𝐱𝐩(𝝐)程度しか 区別ができない è ⼊⼒の差異も区別が難しい C. Dwork. Differential privacy. ICALP, 2006. Server 𝒟 𝐷 𝐷! 𝐷!!
17. (b) ローカルモデル (Local Differential Privacy) 17 メカニズム ℳ: 𝒳 → 𝒮 が 𝝐-ローカル差分プライバシー を満たすとは 任意の⼊⼒の組 𝑥, 𝑥! ∈ 𝒳 および 任意の出⼒の集合 𝑆 ⊆ 𝒮 に対して以下が成り⽴つときである Pr ℳ 𝑥 ∈ 𝑆 ≤ exp 𝜖 Pr ℳ 𝑥! ∈ 𝑆 ℳ ℳ ℳ J. C. Duchi, M. I. Jordan, and M. J. Wainwright. Local privacy and statistical minimax rates. FOCS2013 クライアントは ⼀塊のデータ𝑥 をℳに⼊⼒ Server 𝒳 ∈ { } ひとりひとりが 何を送ってきたか 区別が難しい
18. (2) Federated Learning Federated Learning (FL) とは • クライアントで機械学習を実施して 更新情報だけをサーバーが収集 (データはクライアントから出ない) 解決する課題 • クライアントでしか扱いを許容されない 機微データの活⽤を実現 • サーバーのデータ管理コストの削減 残存するプライバシーリスク • 更新情報からのデータ復元 à Differential Privacyの併⽤が必要 Non-participants of FL Local Update Info Local Update Info Distributing Parameters Update Global Parameters 18
19. Federated Learning + Differential Privacy FL + Differential Privacy とは︖ • 更新情報を他⼈と⾒分けがつかない形に • 有効な学習には膨⼤なクライアントが必要 解決する課題 • クライアント内でしか扱いを許容されない 機微データの活⽤を実現 • サーバーのデータ管理コストの削減 • 厳密なプライバシーの保証と管理 Distributing Parameters + + + + + + + + + Differential Privacy + Differential Privacy ノイズ を加算することで 出⼒の差異を制限 (どんな⼊⼒でも出⼒がほぼ同じに⾒える) 多数の更新情報を集約すると ノイズ同⼠が打ち消し合う Update Global Parameters 19
20. (3) TEE/MPC TEE/MPC とは l データの「処理中」も暗号化できる暗号技術 (従来の暗号化は「通信中」と「保存中」のみ暗号化） • TEE: ハードウエアのチップを利⽤した暗号⽅式 • MPC: ソフトウエア（暗号理論）を利⽤した⽅式 解決する課題 l 常にデータの暗号化を実現するため、管理者や不正者からの不正を防⽌ Server Analyst User Clients Other Companies Data Process Server Analyst User Clients Other Companies Data Process by TEE/MPC 常にデータを 暗号化可能 20 TEE : Trusted Execution Environment MPC : Multi-Party Computation ※⽇本では「秘密計算」や「秘匿計算」とも呼ばれる 従来の暗号技術を使ったシステム TEEやMPCを適⽤したシステム 処理中の 漏洩リスク
21. TEEを⽤いた安全な機械学習処理の期待 l TEEは⼤容量化とGPUへの対応が進んでおり、DNNなど機械学習への適⽤が期待できる • Intel SGXの新バージョンが⼤容量化 (512GBytes / 1ソケット) • NVIDIA H100がTEEをサポート 出典: https://pc.watch.impress.co.jp/docs/topic/special/1354641.html 出典: https://www.nvidia.com/en-us/data-center/solutions/confidential-computing/ 21
22. 3. BigTech企業の動向と事例紹介 22
23. トレンドPrivacy TechにおけるBigTech企業の動向 l 各社PrivacyTechの事業導⼊※2を進めており、特にGoogleとAppleが⾼いプレゼンス • 各社とも研究論⽂の発表にも積極的 → 技術の妥当性検証・透明性のために必要な活動 l 参考︓LINEはDP(Differential Privacy)とFL (Federated Learning)の研究で顕著な成果(後半説明) Privacyの 「フレームワーク」 Privacyの 「技術」 Google Apple Meta (Facebook) Amazon Microsoft その他 Stats Gathering (データ収集) DP 導⼊済 (Chrome等) 導⼊済 (QuickType等) 研究開発 (OSS開発) 導⼊済※1 (Alexa) 導⼊済 Data Publishing (データ提供) DP 導⼊済 (⼈流レポート) 導⼊済 (App Store Bench) 導⼊済 (Data for Good) NTT Docomo、 Uberが導⼊済 Federated Learning - 導⼊済 (Gboard) 研究開発 導⼊済※1 (Alexa) 研究開発 (OSS開発) DP 導⼊済 (Gboard) 研究開発 導⼊済※1 (Alexa) MPC 研究開発 DP + TEE/MPC 研究開発 Data Clean Room DP 導⼊済 (OSS開発) Uber, LinkedIn MPC/TEE 研究開発 (OSS開発) DACが 実証実験 Cloud適⽤、ライブラ リ開発 TEE 研究開発 (OSS開発) （類似技術: iPhoneの Enclave） 研究開発 (OSS開発) 導⼊済 (AWS) 導⼊済 (Azure) Alibaba Baiduが導⼊済 MPC 研究開発 (OSS開発) 導⼊検討後 延期 研究開発 (HPでアピール) 研究開発 (OSS開発) ブロックチェーンの 鍵管理 MPC PayPal,Coinbase が導⼊済 Crowd型の広告配信 - 研究開発 ※1 Amazonは明確に導⼊していると⾔い切っていないが研究開発のBlogから⾒て導⼊済みの可能性が⾼いと判断 ※2 各社が公開している情報から発表者の判断で「研究開発」「導⼊済」を判断 23
24. BigTech企業等の事業化・研究の事例紹介 Privacyの 「フレームワーク」 Privacyの 「技術」 Google Apple Meta (Facebook) Amazon Microsoft その他 Stats Gathering (データ収集) DP 導⼊済 (Chrome等) 導⼊済 (QuickType等) 研究開発 (OSS開発) 導⼊済※1 (Alexa) 導⼊済 Data Publishing (データ提供) DP 導⼊済 (⼈流レポート) 導⼊済 (App Store Bench) 導⼊済 (Data for Good) NTT Docomo、 Uberが導⼊済 Federated Learning - 導⼊済 (Gboard) 研究開発 導⼊済※1 (Alexa) 研究開発 (OSS開発) DP 導⼊済 (Gboard) 研究開発 導⼊済※1 (Alexa) MPC 研究開発 DP + TEE/MPC 研究開発 Data Clean Room DP 導⼊済 (OSS開発) Uber, LinkedIn MPC/TEE 研究開発 (OSS開発) DACが 実証実験 Cloud適⽤、ライブラ リ開発 TEE 研究開発 (OSS開発) （類似技術: iPhoneの Enclave） 研究開発 (OSS開発) 導⼊済 (AWS) 導⼊済 (Azure) Alibaba Baiduが導⼊済 MPC 研究開発 (OSS開発) 導⼊検討後 延期 研究開発 (HPでアピール) 研究開発 (OSS開発) ブロックチェーンの 鍵管理 MPC PayPal,Coinbase が導⼊済 Crowd型の広告配信 - 研究開発 24 ①Apple︓DPを⽤いたデータ収集 ④Google︓FL+DP ③Apple︓MPC不正検知の導⼊検討・延期 ⑤その他企業︓データ分析基盤 ⑤ ① ② ④ ③ ②Google︓Crowd型広告 n 技術開発・コミュニケーションの例として紹介 n 参考に紹介 ※1 Amazonは明確に導⼊していると⾔い切っていないが研究開発のBlogから⾒て導⼊済みの可能性が⾼いと判断
25. ①Apple︓Differential Privacyを適⽤したStats Gathering l 技術︓ユーザが利⽤している絵⽂字の頻度を統計的に知るためにDifferential Privacyを利⽤ l コミュニケーション︓WWDC2016にて、いち早くDifferential Privacyを導⼊をアピール 出典: "Craig Federighi on privacy on iOS - WWDC 2016", https://www.youtube.com/watch?v=EEE_bYXbAHk Server User Client 1 User Client 2 User Client 3 絵⽂字利⽤回数 + noise 絵⽂字利⽤回数 + noise 絵⽂字利⽤回数 + noise 統計的に集計 Differential Privacyを⽤いた集計 コミュニケーション 25 図出典︓https://machinelearning.apple.com/research/learning-with-privacy-at-scale
26. ②Google︓Crowd型の広告ターゲティング l 技術︓Cookieを⽤いずにCrowd型の広告ターゲティングを検討中 l コミュニケーション︓導⼊前に仕様を公開し、専⾨家から意⾒を聞き修正する進め⽅ (FLoC→Topics/FLEDGE等) Non-participants of FLoC (1) Hash値 (3) Cohort毎の 情報推薦 Cohort⾮依存な 情報推薦 (2) Hash値をクラスタリング è クラスタ = Cohort 従来の広告等のターゲティング＝ 個々⼈の追跡 à 課題︓プライバシー的に問題があるのでは︖ à 解決案︓ Crowd型ターゲティング 嗜好の似た集団 (Cohort) を追跡 26 Crowd型の広告ターゲティングの例 コミュニケーション 厳密で現実的なプライバシー保証と ターゲティング性能の両⽴を⽬指す • 2021年3⽉ FLoC (Federated Learning of Cohorts)を発表 → 専⾨家と議論 • 2022年1⽉ FLoCの開発を停⽌ 新たにTopicsを発表
27. ③Apple︓MPCの導⼊検討・延期 l 技術︓児童性的虐待コンテンツの検知にMPCの導⼊検討 • 既知の虐待写真とiCould間の写真の⽐較⼀致 l コミュニケーション︓事前に技術・システム詳細を事前公表 → 様々な意⾒を踏まえ延期 • 技術⾃体の安全性を本分野の専⾨家からのreview結果を公表 • システム全体としては、プライバシー上の懸念(例︓Apple外のDB側の攻撃等)があると判断し延期 出典︓https://web.archive.org/web/20210805191352/https://www.apple.com/child-safety/pdf/CSAM_Detection_Technical_Summary.pdf 27
28. 参考︓④Google︓FL+DPの事例 • Googleは、⽂字⼊⼒における次の⽂字の推薦のための学習（Gboardの学習）に Federated LearningとDifferential Privacyを導⼊済み Server Client 1 Client 2 Client 3 Data Data Data +noise +noise +noise Learn Learn Learn 出典: https://support.google.com/gboard/answer/9334583?hl=en 出典: https://ai.googleblog.com/2017/04/federated-learning-collaborative.html 28
29. 参考︓⑤Alibaba、Uber、LinkedInなど︓ Differential PrivacyやTEEを⽤いた安全なデータ分析環境 データ分析環境（例︓Data Clean Room） l プラットフォーマーのデータと顧客のデータを突合して解析結果のみを得るためのセキュリティが 完備されたクラウド環境 安全性の強化に向けた研究動向 l DPによる解析結果の保護等、様々なPrivacy Techで統合的に安全性を確保 • Alibaba, Uber, LinkedInなどが研究開発 Platformer Data Third Party TEE Data Analysis Cloud (Data Clean Room) Privacy-preserving Marketing Evidence 29
30. 4. LINEのPrivacyの研究開発
31. 31 出典︓https://linecorp.com/ja/pr/news/ja/2022/4269
32. Our Publications Title Conference / WS Authors HDPView: Differentially Private Materialized View for Exploring High Dimensional Relational Data VLDB2022 Kato, Takahashi, Takagi, Cao, Liew, Yoshikawa Network Shuffling: Privacy Amplification via Random Walks SIGMOD2022 Liew, Takahashi, Takagi, Kato, Cao, Yoshikawa PEARL: Private Embeddings and Adversarial Reconstruction Learning ICLR2022 Liew, Takahashi, Ueno Construction of Differentially Private Summaries over Fully Homomorphic Encryption DEXA2021 Ushiyama, Takahashi, Kudo, Yamana P3GM: Private High-Dimensional Data Release via Privacy Preserving Phased Generative Model ICDE2021 Takagi, Takahashi, Cao, Yoshikawa Continuous and Gradual Style Changes of Graphic Designs with Generative Model IUI2021 Ueno, Sato Indirect Adversarial Attacks via Poisoning Neighbors for Graph Convolutional Networks BigData2019 Takahashi Disentangling Clustered Representations of Variational Autoencoders for Generating Diverse Samples LDRC@IJCAI20 Takahashi, Komatsu, Yamada Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation TPDP@CCS20 Takahashi, Takagi, Ono, Komatsu Locally Private Distributed Reinforcement Learning FL-ICML@ICML20 Ono, Takahashi インターンの成果 トップカンファレンス 32
33. 社外講演・チュートリアル l Differential Privacyのチュートリアル at DEIM2022 Ø https://speakerdeck.com/line_developers/the-forefront-of-data-utilization-through-differential-privacy l プライバシーに配慮した新たな技術動向 ~ Federated Learningを中⼼に ~ at CSS2021 Ø https://speakerdeck.com/line_developers/federated-learning-with-differential-privacy l Differential Privacy in Machine Learning at LINE DEVELOPER DAY 2020 Ø https://speakerdeck.com/line_devday2020/differential-privacy-in-machine-learning 33
34. LINEの研究成果: データ提供のDP l 任意のクエリに対して⼩さいノイズで応答するプライバシー保護型クエリ処理機 構を実現するための中間データ構築法を提案 VLDB2022採択 p-view Securely Joined DB Data Clean Room等 想定アプリケーション LINE Third Party 34
35. Privacy Amplification: Network Shuffling l プライバシー強化に⽤いる「シャッフリング」処理を世界で初めて Decentralizedな⽅法で実現（基礎研究） Shuf fler Curator Trusted Entityで 匿名化処理が必要 クライアント間のE2EE通信で秘密裏に データを交換しあうことで匿名化を実現 SIGMOD2022採択 / 特許出願中 35
36. LINEの研究成果: データ合成 + DP l 機微データを共有する代わりに模倣データの⽣成モデルを共有 l プライバシー保護に⽤いるノイズに頑健な⽣成モデルの学習を実現 ICDE2021 / ICLR2022採択 36
37. まとめ l プライバシーとは • 社会的にプライバシーの保護が重要 • Privacy Techはプライバシー原則「Data minimization」に関係 • 技術進展に合わせた継続的な適⽤が必要 • プライバシー技術は⾒えない → 技術だけでなく対外コミュニケーションも重要 l Privacy Techのトレンド • 差分プライバシー • 連合学習 • TEE/MPC（秘密計算） l BigTech等の動向 • Google、Appleが先進的