LLMをConfidential VMで動かす話

「Confidential VM上でLLMを動かす話」を、Confidential AI Night #2（https://acompany.connpass.com/event/407430）で発表した内容です。

Transcript

1. Confidential AI Night #2 LLMをConfidential VMで動かす話 LINEヤフー株式会社 LINEヤフー研究所 Satoshi Hasegawa © LY Corporation
2. 目次 ⚫自己紹介 ⚫LLM を Confidential VM で動かす ⚫課題とその対策の一例 © LY Corporation 2
3. Satoshi HASEGAWA @haseyan3104 © LY Corporation 2014 -2021 NTT Secure Platform Laboratories Researcher 2021- LINE(現 : LINEヤフー) Senior Research Engineer 2025- LINEヤフー LINEヤフー研究所 Privacy Division Lead 2026- 群馬大学大学院 情報学研究科 社会人 博士後期課程 Selected Works LINE/LINEヤフー - 製品への差分プライバシ・TEE導入など NTT - 匿名化に関する研究・製品開発 3
4. LINEヤフーについて コミュニケーションアプリ「LINE」や総合インターネットサービス「Yahoo! JAPAN」を始めとした、さまざまなサービスを展開 コミュニケーションアプリ LINE 友だちや家族と、1対1やグループでのトーク、音声通話・ビデオ通話を、国内・ 海外・通信キャリアを問わず、いつでも、どこでも無料で楽しめます。さまざまな 人や情報、サービス、企業・ブランドと、シームレスに繋がることが可能です。 © LY Corporation 総合インターネットサービス Yahoo! JAPAN ポータルサイト「Yahoo! JAPAN」をはじめ、検索、ニュース、天気、ショッピング、 オークションなど、これまでさまざまなサービスをスマートフォン・パソコンなどの デバイス向けに提供しています。 4
5. LINEヤフーにおけるConfidential VM(CVM)活用 © LY Corporation 5
6. LINEヤフー研究所 Privacy Division Privacy Enhancing Technologiesの研究・開発・実用化 連合解析 差分プライ バシー(DP) 秘密計算 (TEE) TEE 分散協調型機械学習・分析. 生データをクラサバ間で 直接やりとりせずに学習・分析 統計量に対してノイズを加算し ユーザのプライバシを保護. De facto Standardな手法 セキュアなHW等で構築した 処理中の機密性・完全性を 担保する計算基盤 直近採択実績 : PETS2026, AISTATS2026, PODS2026, ICML2026, CCS2026 © LY Corporation 6
7. 目次 ⚫自己紹介 ⚫LLM を Confidential VM で動かす ⚫課題とその対策の一例 © LY Corporation 7
8. 今日の登壇内容につきまして… Confidential AI Night #1の演題を確認… 意外にも, 「AIをCVMで動かす!」 という直接的な話はないのでは…? © LY Corporation 8
9. 本発表では…? ⚫ LLMをConfidential VMで動かしてみよう ⚫ どういった課題があるんだろか…? ➔ 課題を列挙し, その1つについて対策を考え てみます © LY Corporation 9
10. LLMベースのPII Filterを題材に考えてみる PII Filter : 個人情報やそれに関連する情報をフィルタリングする技術 私は、Satoshi Hasegawaです。今日は Confidential AI Night #2で発表するために やってきました。 Client 私は、[FirstName] [LastName]です。今日 はConfidential AI Night #2で発表するため にやってきました。 © LY Corporation LLM on CVM CVMにより, Clientの問合せ内容を管理者にさえも秘匿しつつフィルタリングが可能 10
11. 注意 ⚫ これからご紹介する実装例は, 本発表用に作成した簡易的なデモです. ⚫ 何かしらのセキュリティの監査を受けたものではありません. ⚫ ご利用の際は自己責任で. 改善・実装してもらえると良いと思います. © LY Corporation 11
12. 準備 : OpenAI Privacy Filter [OpenAI26] OpenAIが公開した1.5Bの双方向トークン分類モデルのPII Filter Privacyに関係する文字列を検出し, 8つ(account_number, address, email等)に分類する パラメータ数 / コンテキストウィンドウ 1.5B (Active 50M) / 128,000トークン Privacy Filter Example Input : Ben Morgan lives at 12 3rd St. Call him at 123 456 7890 Output : <PRIVATE_PERSON> lives at <PRIVATE_ADDRESS>. Call him at <PRIVATE_PHONE> © LY Corporation https://arxiv.org/pdf/2608.18274 12
13. 準備 : Confidential VM クラウド事業者やハイパーバイザからも、VM内のデータや処理内容を保護する仮想マシン(VM) CVMは「計算の中身」を守る技術。「計算している事実や、その振る舞い」まで全ては隠せない Confidential VMs (VMまるごと隔離) Virtual Machine Virtual Machine Applicati on Applicati on OS OS Hypervisor Hardware (AMD SEV-SNP / Intel TDX) © LY Corporation 保護できるもの • メモリ上の機密データ • 実行中のコード・モデル 保護の対象外なもの • アプリ自体の脆弱性 • 実行時間・メモリアクセスパターン等 13
14. 準備 : Remote Attestation (RA) 遠隔のCVMが改ざんされずに安全で正規の状態であることを検証する仕組み RA ≒ Attestation Reportの確認作業 Confidential VM Attestation Reportの信頼の チェーン AMD Root Key (ARK) Certificate Application AMD Sign Key (ASK) Certificate Attestation Reportの中身 Name Description GUEST POLICY Debug, SMT, CIPHERTEXT_HIDINGなど CURRENT_TCB 現在のTCBのバージョン REPORT_DATA 64Bの任意のデータ領域 (証明書, nonce等) MEASUREMENT 起動時にfirmwareが計算した初 期状態のSHA-384 … or Client Attestation Report OS • • レポートは正規のところから発行されたものか 起動しているVMが想定されたものか © LY Corporation VCEK Certificate Attestation Report AMD SEV-SNPの場合 SIGNATURE Report全体の署名値 今日触れるのは以下の2つ • REPORT_DATA • MEASUREMENT 14
15. ブラウザ上で動くデモを作成しました • a. CVMのTLS証明書は, AttestationによりCVMから発行されていることを保証 • b. WebTransport を使い, ブラウザ <-> CVM間をE2EEで通信. • WebTransport : HTTP/3を利用したブラウザ・サーバ間の双方向通信を行うWebAPI Confidential VM ARK Cert. Application RA開始 a. ReportとCertを送信 ASK Cert. Attestation Report VCEK Cert. or or WebTransport Cert. LLMへ問合せ Attestation Report 私は田中太郎です 私は[NAME]です b.WebTransportでセキュアに通信 LLM WebTransport Cert. © LY Corporation OS Client 管理者 15
16. まずは動くところをお見せします © LY Corporation 16
17. どういう仕組みで動いている…? © LY Corporation 17
18. bの詳細 : WebTransport接続の信頼のチェーン JSの”serverCertificateHashes”でCVM証明書のハッシュを照合 © LY Corporation https://developer.mozilla.org/en-US/docs/Web/API/WebTransport/WebTransport#servercertificatehashes 18
19. 他, 実装に関する細かい話 ⚫ privacy-filterのエンジンは…? ➔ privacy-filter.cppというGGMLで作成された推論エンジンを活用 - (llama.cpp という著名なLLMエンジンに名前は似ているが, 作成者は別) ⚫ ブラウザでのReportを検証する仕組みは…? ➔ RustのSev crateを活用. RustはWASMにコンパイルできる ⚫ 今回試した環境は? ➔ Google Cloud : n2d-standard-16 (16vCPU, 64GB RAM) SEV-SNP © LY Corporation 19
20. 本日の発表につきまして ⚫自己紹介 ⚫ローカルLLM on Confidential VM ⚫課題とその対策の一例 © LY Corporation 20
21. このデモに追加していくと良いもの ⚫ A. Remote Attestationの方法を再考 ➔ 例) RA-TLSの実装 • デモではブラウザで実施のため, RA Report取得(TCP)とLLM用途(UDP)で別の通信路を選択. 他 にも様々なアプローチあり. MetaはRA-TLSを実装. ⚫ B. CVMが意図したものかどうかの確認 ➔ Measurementの検証 • コード公開したり, 外部のTransparency Logサービスを使い, 第三者が検証可能にするなど… ⚫ C. 秘密のデータ依存の処理を減らす ➔ Data Obliviousなアルゴリズム化 AやBの話は私よりも詳しい人たちが会場にいると思います. 他にも追加すべきもの等はあるかと思いますが…. 今日は, Cの話を少しだけします © LY Corporation 21
22. 再掲 : Confidential VM クラウド事業者やハイパーバイザからも、VM内のデータや処理内容を保護する仮想マシン(VM) CVMは「計算の中身」を守る技術。「計算している事実や、その振る舞い」まで全ては隠せない Confidential VMs (VMまるごと隔離) Virtual Machine Virtual Machine Applicati on Applicati on OS OS Hypervisor Hardware (AMD SEV-SNP / Intel TDX) © LY Corporation 保護できるもの • メモリ上の機密データ • 実行中のコード・モデル 保護の対象外なもの • アプリ自体の脆弱性 • 実行時間・メモリアクセスパターン等 22
23. OpenAI Privacy FilterによるToken分類 入力 token列 モデル内部 出力 BIOESタグ列 01 Alice B-PERSON 02 M. I-PERSON 03 Smith 04 emailed 埋め込み Encoder × 8 双方向Attention + MoE 分類ヘッド 33分類スコア BIOES制約付き デコード E-PERSON O Attentionとデコードはtoken列の関係を使う 05 [email] S-EMAIL MoE(Mixture of Experts)の中身 各tokenのrouterが128専門家から上位4を選ぶ Router 128専門家のスコア © LY Corporation 選ばれた4専門家を並列に計算 Expert 1 Expert 2 Expert 3 重み付きで合流 Expert 4 23
24. MoEcho[Ding+25] : エキスパート負荷から入力を推測 ⚫ 定型化された医療相談文で、入力中の秘密属性を推測 論文の攻撃経路 ｜ キャッシュの使用状況を繰り返し測り, Expertごとの負荷を推測 病名推測の実験結果 99.8% 病名を116候補から当てた正解率 短い医療定型文／DeepSeek-V2 Lite CPUキャッシュ観測 論文にある医療相談文の例 「50歳・男性・O型の患者が 糖尿病と診断された」 推測される情報：糖尿病という病名 年齢層・性別・血液型も別途評価（Table 3） © LY Corporation (CVMで実際に攻撃した論文ではないが, MoEの計算からリークする情報としては対策をしておくことが好ましい) 24
25. MoEの計算をデータ非依存にする Balanced Expert Routing[Zhou+25] : 全Expertを同じ回数計算. <- リークを低減 © LY Corporation 25
26. Balanced Expert Routing導入による影響 データ非依存性 F1スコア(精度) 94.5% Strict Mode (Balanced Expert Routing) 93.7% ≒ Standard (Sparse MoE) スループット (token/s) Latency (654 tokens) 4435.35 x2.40 1845.70 147.4[ms] x2.42 354.3[ms] ⚫ 環境 : Google Cloud AMD EPYC Turin 16コア 62GBメモリ ⚫ Balanced Expert Routingによる品質の劣化を評価. • Nemotron PIIデータセットで, F1スコアを評価 ⚫ CPUでの推論速度を評価 (人工テキスト 英語 381word) • スループットは2.5倍程度劣るが, 実用的な速さで結果は返ってくる. © LY Corporation 26
27. まとめ ⚫ ローカルLLMをConfidential VMで動か してみた. ⚫ どういった課題があるかを少し挙げて, その対策について考えてみた. © LY Corporation 27