KVM vs HVF (AHF) vs HAXM

2017/11/18(土) カーネル/VM探検隊@関西 8回目 (https://connpass.com/event/68374/) の @nullpo_head (https://twitter.com/nullpo_head) の発表資料です。

kvmとapple hypervisor framework(HFV/AHF)とintel haxmのAPIについて、それぞれを使ってVMMを作った経験から、VMMを作る観点からその機能や使いやすさの比較をした発表です。

Transcript

1. ~ 食べ比べ ~
2. @nullpo_head (佐伯タカヤ) • M2, 修論がやばい なんなら京都で観光してる場合じゃない • 未踏2016 スパクリ Noahというアプリを作った, MacでELFを動かす そのNoahというアプリが仮想化技術をヘビーに使っていた
3. Virtual Machine Monitor • VMを作ったり管理したりする ハイパーバイザーのこと • 特に今日は仮想化支援機構を前提とした KVMのようなKernel moduleたちのこと
4. を応用した 向けサンドボックスライブラリ
5. を で動かす（つらい
6. 全部VMを 使う！ Linux Windows 素のNoahは macOS
7. HAXM 結果としてなんか3つもVMMを 使わざるを得なかった 今日は経験した 3つのVMMを比較します
8. ※注意：今日話すKVM等はコマンドラ インからたたけてVMを立ち上げてくれ るqemu-kvmの話ではないです。 Qemuが内部的に使っているような、 KVMのカーネルモジュール部分のAPIの 話です。 ※注意：VMではなくVMMの話をします
9. 🤔待てよ・・・滅多に直接触らな いVMMとか誰が興味あるんだ？ （Qemu開発者か？VM開発者か？
10. Kernel/VM参加者からランダム に抽選して需要を探る • 視聴率とかと同じ原理 • 時間ないし二人くらいでええやろ 厳正な抽選
12. 1人目: しゅうう先生
13. しゅうう先生 ランダム1人目 VM書い てる！
15. 2人目: るくす氏
16. るくす氏 未踏にて • まず当初の予定通りQemu ベースのソフトウェアを 書いて • そのあと何故か未踏の時 間が余っておりType-1の VMも書いた 2人目めちゃ くちゃVM書 いてる！ つまり統計的に 参加者全員VM書 いてるやんけ！ （カーネルVMすごい
17. つまり参加者全員VM 書いてるやんけ！ • 統計的な結論 • よくよく考えたらタイトルkernel/vm探検隊だ し当然 • みなさまのVMM選びにお役立てください
18. VMM(カーネルモ ジュール)とは ※今回はKVMなどの方式についてのみ話します
19. そもそもの最近のVMの仕組み 仮想化されたCPU ゲストプロセス Ioctl, VCPUラン 要求 VMENTRY RUN! システムコール など デバイス シミュレーション
20. そもそもの最近のVMの仕組み 仮想化されたCPU デバイスIO等 VMEXIT Ioctl, デバイスIO要求通知 ゲストプロセス システムコール など デバイス シミュレーション
21. そもそもの最近のVMの仕組み 仮想化されたCPU ゲストプロセス Ioctl, VCPUラン 要求 VMENTRY RUN! システムコール など デバイス シミュレーション
22. そもそもの最近のVMの仕組み 仮想化されたCPU デバイスIO等 VMEXIT Ioctl, デバイスIO要求通知 ゲストプロセス Ioctl, VCPUラン 要求 VMENTRY システムコール など デバイス シミュレーション
23. KVM • 📒 言わずと知れたLinux用 の元祖VMMカーネルモ ジュール • 💻 Linux / FreeBSD • 💡 X86だけではなく、 ARM/PPC/IA-36/s390などで も動く • 説明が雑でごめんなさい、 みんな知ってるよね
24. Apple Hypervisor Framework • 📒 Apple謹製、OS組み込み のあまり知名度のないVMM • 💻 macOS • 💡３VMMの中でも特に Intel VMXの薄いラッパーラ イブラリ的実装 • 💡 仮想NICを作るフレーム ワークまでmacOS組み込み で載っていて案外クール • 💡 macOS版bhyveとしてよ く言及されるxhyveはAHFを 使っている
25. Intel HAXM (Hardware Accelerated Execution Manager) • 📒 Intelが実はVMMを作っ てる • 💻 Win/macOS • 💡 X86 Androidエミュレー タの高速化モジュールとし て配布されているが、実態 は汎用のVMM • 💡 QemuがmainlineでKVM 同様に対応している HAXM
26. 今日は以上3種VMMの 比較の話をします • KVM • AHF • HAXM
27. 比較？ • インターフェースの使いやすさと機能の面から 比較して、優劣と得意不得意をまとめます • パフォーマンスの比較はしません • そもそもマシンが違うしそろえて測るのは本質的に 難しい • 今日はsatさんがWSLについてそれをやる予定だった そうなので楽しみだったが残念 • どこかで公開してくれるでしょう • Satさんは残念ながら今回もSEGVしてしまった • がちゃぴん先生のmalloc動画みたいな感じでsatさんが SEGVする動画が見たいんですがないんでしょうか
28. まずは4スライドでわ かるVMの作り方
29. 共通するインターフェース • 基本的なVMMの使いかた • ユーザー空間にVMMが公開しているAPIをたたいて VMMモジュールを利用する • Ioctl派とライブラリで隠ぺい派に分かれる “/dev/kvm”や”¥¥.¥hax”などのデバイスが 生えていて、そこへのioctlでAPIを呼ぶ hv_vm_createのようなAPIがライブラリ にファーストクラスに用意されている
30. だいたい共通するVMMの使い方 (AHFを例に) 1. hv_vm_create まずVMを作る 2. hv_vm_map 次にメモリ空間 を作る。CR3とか 3. hv_vcpu_create 仮想CPUを作る 4. hv_vcpu_runと VMEXITのループ ここがエミュ レーション本体
31. そもそもの最近のVMの仕組み 仮想化されたCPU デバイスIO等 VMEXIT Ioctl, デバイスIO要求通知 ゲストプロセス Ioctl, VCPUラン 要求 VMENTRY システムコール など デバイス シミュレーション RUN! VMMの力を借りると、 VMMがCPUの力を借りて仮想化部分が 労力なく走る
32. そもそもの最近のVMの仕組み 仮想化されたCPU デバイスIO等 VMEXIT Ioctl, デバイスIO要求通知 ゲストプロセス Ioctl, VCPUラン 要求 VMENTRY システムコール など デバイス シミュレーション
33. だいたい共通するVMMの使い方 (AHFを例に) 1. hv_vm_create まずVMを作る 2. hv_vm_map 次にメモリ空間 を作る。CR3とか 3. hv_vcpu_create 仮想CPUを作る 4. hv_vcpu_runと VMEXITのループ ここがエミュ レーション本体
34. だいたい共通するVMMの使い方 (Libhypervisorを例に) 1.while (1) { 2. vmm_cpu_run(vm, cpu); 3. vmm_cpu_get_state(vm, cpu, VMM_CTRL_EXIT_REASON, &exit_reason); 4. switch (exit_reason) { 5. case VMM_EXIT_FAIL_ENTRY: 6. /* めっちゃエラーメッセージとか出す */ 7. return 0; 8. case VMM_EXIT_HLT: 9. /* 死んだ */ 10. return 0; 11. case VMM_EXIT_IO: 12. ret = vmm_cpu_get_register(vm, cpu, VMM_X64_RAX, &value); 13. /* ここでデバイスエミュレーション */ 14. break; 15. ... 16. } 17.} RunとExitのループ 複雑なCPUのエミュレーション無しに(※) 仮想マシンエミュレータを作れる！
35. 気になった方は詳しくは しゅうう先生の資料を実際どうぞ
36. HAXM
37. 先に結論から言うと の順でだいたい柔軟性が高く使いやすい • ただしそれぞれで罠や使いづらい用途があります HAXM ＞ ＞
38. 分かる人向けTL;DR KVM AHF HAXM 複数VM操作 ✔ ✘ ✔ EPTの活用 ✘ ✔ △(unmapだけ できない) ホストによる ページング ✔ ✔ ✔ Exception Bitmap操作 ✘ ✔ ✘ 例外のハンド ルのしやすさ △ ✔ ✘ VMCALL命令 ✘ ✔ ✘ VMFUNC命令 ✔ ✔ ✘
39. ドキュメントについて • 3つのVMMをAPIのドキュメントの充実度で 比較する
40. ドキュメントについて
41. • APIに関しては バカでかい1枚 のApi.txtがある • APIに関しては これだけだけど まぁほかのファ イルは充実 • ただしVMMに 詳しくない人が いきなりこれを 見ても多分わか らない
42. • APIに関しては バカでかい1枚 のApi.txtがある • APIに関しては これだけだけど まぁほかのファ イルは充実 • ただしVMMに 詳しくない人が いきなりこれを 見ても多分わか らない
44. ほぼ関数の名前しか 情報がない・・・ ツライ
45. HAXM そもそも ドキュメントがない
46. ドキュメントについて • KVMですらドキュメントだけだと良く分からな いので、結局Intelドキュメントとにらめっこし ながら試行錯誤する • 気合 • 「とっつきやすさ」に特に差はない（でも HAXMはさすがに無理かな・・・
47. VMはデバッグがつらい • VMX系のエラーはたいてい「エラーがある」と しか言ってくれない • CPU「なんで私が怒ってるかわかる？」 • ⇒全然わからない • ドキュメントがないと精神的につらい
48. その他機能比較
49. KVM AHF HAXM 複数VM操作 ✔ ✘ ✔ EPTの活用 ✘ ✔ △(unmapだけ できない) ホストによる ページング ✔ ✔ ✔ Exception Bitmap操作 ✘ ✔ ✘ 例外のハンド ルのしやすさ △ ✔ ✘ VMCALL命令 ✘ ✔ ✘ VMFUNC命令 ✔ ✔ ✘ 詳しい人向け 機能比較一気見表
50. EPTの活用 • Intelの仮想化機能のEPTはとても柔軟 • ゲスト物理→ホスト物理のアドレスマッピング を、通常のx86のマッピングの粒度で行える • (e.g. gpa->hpaの1ページ分だけNXを立てるなど
51. EPTマップの柔軟性に差がある HAXM ＞ ＞ ほぼEPTの フル機能が使え る VMに対して物理ページをマップするのではなく、 「VMに対してメモリスロットを刺す」というアナ ロジーに縛られる。HAXMの方がちょっとだけマシ。 ＞
52. KVM AHF HAXM 複数VM操作 ✔ ✘ ✔ EPTの活用 ✘ ✔ △(unmapだけ できない) ホストによる ページング ✔ ✔ ✔ Exception Bitmap操作 ✘ ✔ ✘ 例外のハンド ルのしやすさ △ ✔ ✘ VMCALL命令 ✘ ✔ ✘ VMFUNC命令 ✔ ✔ ✘ 詳しい人向け 機能比較一気見表
53. VMの中の例外を トラップしたい • VMMを通常の意味での仮想マシンエミュレー タの作成にではなく、何か特殊な用途に使おう とするとゲストの中の例外をホストでトラップ したくなることがある • 例えばNoahでは、ゲストの中のシステムコー ルをフックして、ホストOSの対応するシステ ムコールをたたくことでELFをmacOSで動かす
54. 例外のトラップしやすさ HAXM ＞ ＞ VMXの仕様ほぼ そのまま自由に できる ちょっと扱いづらい が、APIをよく観察 するとできる ＞ できなさそう
55. KVM AHF HAXM 複数VM操作 ✔ ✘ ✔ EPTの活用 ✘ ✔ △(unmapだけ できない) ホストによる ページング ✔ ✔ ✔ Exception Bitmap操作 ✘ ✔ ✘ 例外のハンド ルのしやすさ △ ✔ ✘ VMCALL命令 ✘ ✔ ✘ VMFUNC命令 ✔ ✔ ✘ 詳しい人向け 機能比較一気見表
56. まとめ • AHFが一番柔軟性が高い • OSが自由に選べるならオススメ • KVM / HAXMもしかし、ふつうのVMを書くなら 十分な柔軟性 • ただしHAXMはドキュメントがないから初めて のVMM利用にはやめよう
57. HAXM ！