連合学習と機密コンピューティング

JSAI2026 企画セッション「機密コンピューティングが切り拓く信頼できるAIの社会基盤」の登壇資料です。
https://pub.confit.atlas.jp/ja/event/jsai2026/presentation/2A5-KS-3-01

Transcript

1. © LY Corporation 連合学習と 機密コンピューティング LINEヤフー研究所 松本 知優 / Tomoya Matsumoto 2026.06.09 JSAI2026 企画セッション「機密コンピューティングが切り拓く信頼できるAIの社会基盤」
2. © LY Corporation 2 松本 知優 Tomoya Matsumoto Research Engineer 大阪在住 略歴 2025/3 大阪大学大学院 情報科学研究科 修士課程修了 2025/4 LINEヤフー株式会社 入社 LINEヤフー研究所 Privacyディビジョン 専門 Privacy-Enhancing Technologies (PETs) • 差分プライバシー • 連合学習 • 機密コンピューティング • 合成データ Profile https://github.com/lycorp-jp/DPSQL_Plus Latest work
3. © LY Corporation 3 今回の内容 連合学習とは？ LINEヤフーの事例紹介 機密コンピューティングの活用 TEE信頼レベル別 連合学習は本当に安全か？ 元データの復元リスク
4. © LY Corporation 4 Federated Learning（連合学習） • サーバーと多数のクライアントが協調する分散機械学習（Cross-device FL） • クライアントはローカルで実施した学習の更新情報だけをサーバーと共有する → 生データはクライアントに留まる、プライバシーに配慮 Global Model モデルを配布 重み差分を送信 ローカルで学習
5. © LY Corporation 5 「LINE」アプリのスタンプ推薦機能 • 「ありがとう」等の文字を入力した際に、意味の近いスタンプを推薦表示する機能 • より高い精度でユーザーの好みに合う提案をするため連合学習技術を導入 • トークルーム等でのスタンプ閲覧・送信履歴をクライアント端末で学習 White Paper (2023) https://privacy.lycorp.co.jp/ja/acquisition/privacy_techs.html
6. © LY Corporation 6 連合学習に残るリスク Global Model 更新情報から元のデータ を復元される恐れ 悪意あるサーバーが プロトコルを逸脱する恐れ サーバーと一部のクライ アントが結託する恐れ 処理の機密性や検証可能性に課題 → 機密コンピューティングで解決できるのでは？
7. © LY Corporation 更新情報から元データを復元可能 7 [Geiping+, NeurIPS2020] https://arxiv.org/abs/2003.14053 Honest-but-curious プロトコルは遵守 Malicious プロトコルを逸脱 [Boenisch+, EuroS&P2023] https://arxiv.org/abs/2112.02918
8. © LY Corporation Federated Learning meets Confidential Computing 8
9. © LY Corporation どのくらいTEEに頼るか 9 TEE信頼レベル TEEの使用 差分プライバシー 学習場所 Lv.0 不使用 ローカル クライアント Lv.1 使用（Shuffler） ローカル クライアント Lv.2 使用（サーバー全体） セントラル クライアント Lv.3 使用（サーバー全体） セントラル サーバー
10. © LY Corporation 10 Lv.0 - ローカル差分プライバシー × 連合学習 • クライアントは各自のデータを用いて重み差分を計算・抑制し、自身でランダム化 • サーバーはランダム化された重みベクトル群の平均を算出し、グローバルモデルを更新 avg. Norm Clipping Random Sampling C Per-client Model difference Global Model Update 𝑥1 , … , 𝑥𝑏 ∈ 𝐷 △𝑖 = 𝜃𝑖 − 𝜃 Global Model 𝜃 + Perturbation + クライアント毎に送信回数を制限 サーバー クライアント ガウスノイズ ガウスノイズ
11. © LY Corporation 11 Lv.1 - Privacy amplification via Shuffling • クライアントからの出力群をバッファして混ぜることで匿名化 • プライバシー増幅効果により、差分プライバシーを満たすために必要なノイズ量が低減 Shuffler privacy amp. via anonymization anonymous logs サーバー クライアント
12. © LY Corporation 12 Lv.1 - TEEを用いたShufflingの実現 • サーバーとShufflerが結託すると、クライアントの匿名性が担保できない • LINEのスタンプ推薦では、ShufflerとしてIntel製のTEEを活用 TEE on Server TEE 管理者 Masking Shuffle records anonymous logs FLサーバ処理
13. © LY Corporation 13 Lv.2 - セントラル差分プライバシー × 連合学習 • クライアントの重みベクトル群をサーバーで集約した後にランダム化 • ローカル差分プライバシーと比べて、必要なノイズ量が少ない • 実現には「信頼できる」サーバーが必要（機密性 + 検証可能性）→ TEEの出番 avg. C Global Model Update Global Model 𝜃 + サーバー クライアント ガウスノイズ
14. © LY Corporation 14 DP-SGD系 ステートレスアルゴリズム Secure DP-FTRL • 状態を悪用したフォーク攻撃などを 「TEE + クライアント監査」で防止 • 高い可用性と機密性を両立 関連研究 - ステートフルなFLアルゴリズム × TEE Securing Private Federated Learning in a Malicious Setting: A Scalable TEE-Based Approach with Client Auditing [Takagi+, PoPETs2026] https://arxiv.org/abs/2509.08709 DP-FTRL系 ステートフルアルゴリズム 状態を考慮した ノイズで高い有用性 大規模モデルに適用可 改ざんや 障害に弱い 複雑なサンプリング プロトコルが必要 シャッフリングに よる有用性の低下 提案手法
15. © LY Corporation 15 Lv.3 - 連合学習の再定義 FLが直面する課題 FLの再定義 [Daly+, IEEE TPS 2024] https://arxiv.org/abs/2410.08892 大規模基盤モデルへの対応 LLMのような巨大モデルをモバイルデバイス 内で学習することは困難 サーバー側の検証可能性の欠如 サーバー側で集約処理が正しく行われている かを、第三者が検証する手段が乏しい システム運用上の複雑さ 多くの異種デバイスが同期して学習を行うFL システムは、開発運用に困難を伴う • クライアントが、自分のデータ・その データにアクセスできるプロセス・そ のプロセスの匿名化処理を完全に制御 • サーバはその制御と監査の手段を提供 これまで • データがローカルにあること これから Federated Learning in Practice: Reflections and Projections
16. © LY Corporation 16 Lv.3 - Confidential Federated Computations [Daly+, IEEE TPS 2024] https://arxiv.org/abs/2410.08892 [Eichner+, 2024] https://arxiv.org/abs/2404.10764 TEEでホストされたサーバー側でデータを処理する
17. © LY Corporation 17 活用事例：Gboardにおける新しい単語の発見 Androidのキーボードアプリ「Gboard」における取り組み（Google） ローカル差分プライバシーを用いた場合と比べて、検出精度が向上 Discovering new words with confidential federated analytics / Google Research https://research.google/blog/discovering-new-words-with-confidential-federated-analytics/
18. © LY Corporation 18 活用事例：Recorderの利用分析 Pixelの録音アプリ「Recorder」における取り組み（Google） LLMを使ってユーザーの利用用途を統計分析 Toward provably private insights into AI use / Google Research https://research.google/blog/toward-provably-private-insights-into-ai-use/
19. © LY Corporation Summary 19
20. © LY Corporation 20 まとめ • 「更新情報だけ送るから安全」ではない • 連合学習に残るプライバシーのリスクを機密コンピューティングで解決できる • 脅威モデルやユースケースに応じた適切な設計が重要 Global Model