GPUパススルーでVMからVRしてみよう

1 GPU パススルーで VM から VR してみよう VRChat LT #7
@[email protected]

2 お前誰よ？・ OSS 界隈で zgock を名乗る痛いおっさん・東海道らぐ
(Tokaido Linux Users Group) 名古屋ドメイン・ openSUSE 教団・毎年 OSC 名古屋で仮想化関係のセミナーしてます・今年も 5/16 にあるのでよろしくね・ mastdon: @[email protected] ・ blog: https://blog.zgock-lab.net

3 仮想化技術最後の壁、 GPU ・qemu/VMWare/VirtualBox等でデバイスの仮想化が進んだ・ネットワークやブロックデバイス等は採用技術次第ではネイティブと遜色ないレベルに・GPUは複雑なデバイスであるため単純なソフトウェアによる仮想化ではパフォーマンスや機能に限界があった (最もパフォーマンスが出るとされているVMWare WorkStationの仮
想VGAでも実GPUには遠く及ばない)

4 GPU 仮想化のための方法論 1.ソフトウェアで準仮想化GPUを実装する (VMXVGA、virtio-gpu=Virgl3Dとか) 2.GPU共有に対応したGPUでホストとGPU共有する (Intel gvt-gとかNVIDIA vGPUとか) 3.ホストに突っ込んだGPUをVMに直接割り当てる
(GPUパススルー)

5 GPU 仮想化のための方法論 1.ソフトウェアで準仮想化GPUを実装する (VMXVGA、virtio-gpu=Virgl3Dとか) 2.GPU共有に対応したGPUでホストとGPU共有する (Intel gvt-gとかNVIDIA vGPUとか) 3.ホストに突っ込んだGPUをVMに直接割り当てる
(GPUパススルー)←今日はこの話をします

6 GPU パススルー・実は結構枯れた技術で、 ESXiとかXenでは10年前ぐらいから可能だった・KVMは対応が遅れていたがここ数年で (大体kernel4.8前後から) 実用レベルになった・FreeBSDのBeHyveもまだIssue出まくりではあるけど密かに動き始めている

7 昔話・７年ぐらい前にXenでおうちの家族用PCを GPUパススルーでVM化した話をSlideShareに上げてるから見てね・「xen zfs」で検索すれば出てくるはず

8 KVM での GPU パススルー・VFIO(Virtual Functional I/O)という技術を使う・現在進行形で開発されている技術のため、Kernelは新しければ新しいほど良い世界
・ハードウェア側でIOMMU(IO空間に対応した偉いMMU) を積んでいる必要がある (Intelだとvt-d、AMDだとAMD-Vi) ・BIOSもIOMMU対応が必要みんな大好きASRock安定

9 VFIO を使う・Kernelに以下のモジュールを読み込む vfio vfio_iommu_type1 vfio_pci vfio_virqfd kvm kvm_i
ntel ・vfio_pciのoptionでパススルーしたいデバイスのidを指定する options vfio_pci ids=8086:016a,8086:1e20,1002:683 f,1002:aab0,10de:1380,10de:0fbc等・libvirtなりqemuでgpuをPCI id指定で割り当てる・ね？簡単でしょ？

10 GPU 別の話 - NVIDIA ・NVIDIAのGeforce血統はKVMで使うのに２つの壁 1.vBIOS ROMをブートローダーが掴むと他からアクセスできない対策A:セカンダリGPUにしておく対策B:vBIOS
ROMをあらかじめダンプしてROM fileとしてqemuに与える・ゲストは必ずUEFI(OVMF)ブートで起動すること 2.NVIDIAドライバがKVM下で動いていることを検知するとエラーで止まる XenやESXiが公式対応しているQuadroすら止まる対策：ゲスト側で「KVMで動いているフラグ」をOFFにする

11 （ここに例の中指画像を入れる）

12 GPU 別の話 - AMD ・NVIDIAのようなセコい真似はしていないので素直に動く・時々vBIOSに持病を持つ世代があって、VMのシャットダウン時にフリーズする子がいる R9 3xx
RX Vega RX 5xxx (Vega以降については今後のkernelで治るかも) 間違いなくド安定なのはR9 2xx世代 RX3桁系はOCモデルとかのvBIOS弄ってるグラボだと怪しい

13 GPU 別の話 - Intel ・新しめのkernelが必要（対応したのは4.8からだけど安定したのは4.10ぐらいから）・coffee Lake以降はKernel 5.1以降が望ましい
・qemuオプションに「Intel iGPU使うよ」というオプションが必要

14 おすすめディストリその１ openSUSE ・教団なのでしかたないね・カーネルに仮想化関連で当てておきたいパッチが丁寧に当たっている場合が多い（Kernelの魔改造に定評があるSUSE）・基本的なKVMの設定はYaSTが秒でセットアップしてくれる・Xen時代から仮想化関連は積極的に対応している

15 おすすめディストリその２ Arch Linux ・カーネルが新しければ新しいほど良い世界なので・みんな大好きArch Wiki

16 おすすめディストリその 3 UnRAID Server ・Limetech社が販売しているSlackwareベースのホームサーバー用ディストリ・本来ホームNAS用ディストリのはずがKVMとDockerをwebインターフェースで楽々扱えるマニアックOSに・Webインターフェースで脳死でGPU指定するだけで、GPUの種類判
別して必要な設定を全部やってくれる・脳死でGPUパススルーしたいなら一番のお勧め・商用と言ってもグレード別で6000～15000円ぐらい・評価版もあるでよ

17 実機デモが見たいだと？ OSC Nagoya 2020 at 5/16(Sat) ここ数年KVMにVive繋いで「VMからVR」のデモやってます今年も去年に引き続き
Unraid Server + Viveで展示予定コロナで中止になりませんように・・・

GPUパススルーでVMからVRしてみよう

GPUパススルーでVMからVRしてみよう

Tatsuya Ando

More Decks by Tatsuya Ando

Other Decks in Technology

Featured

Transcript

1 GPU パススルーで VM から VR してみよう VRChat LT #7

2 お前誰よ？・ OSS 界隈で zgock を名乗る痛いおっさん・東海道らぐ

4 GPU 仮想化のための方法論 1.ソフトウェアで準仮想化GPUを実装する (VMXVGA、virtio-gpu=Virgl3Dとか) 2.GPU共有に対応したGPUでホストとGPU共有する (Intel gvt-gとかNVIDIA vGPUとか) 3.ホストに突っ込んだGPUをVMに直接割り当てる

5 GPU 仮想化のための方法論 1.ソフトウェアで準仮想化GPUを実装する (VMXVGA、virtio-gpu=Virgl3Dとか) 2.GPU共有に対応したGPUでホストとGPU共有する (Intel gvt-gとかNVIDIA vGPUとか) 3.ホストに突っ込んだGPUをVMに直接割り当てる

7 昔話・７年ぐらい前にXenでおうちの家族用PCを GPUパススルーでVM化した話をSlideShareに上げてるから見てね・「xen zfs」で検索すれば出てくるはず

8 KVM での GPU パススルー・VFIO(Virtual Functional I/O)という技術を使う・現在進行形で開発されている技術のため、Kernelは新しければ新しいほど良い世界

9 VFIO を使う・Kernelに以下のモジュールを読み込む vfio vfio_iommu_type1 vfio_pci vfio_virqfd kvm kvm_i

10 GPU 別の話 - NVIDIA ・NVIDIAのGeforce血統はKVMで使うのに２つの壁 1.vBIOS ROMをブートローダーが掴むと他からアクセスできない対策A:セカンダリGPUにしておく対策B:vBIOS

11 （ここに例の中指画像を入れる）

12 GPU 別の話 - AMD ・NVIDIAのようなセコい真似はしていないので素直に動く・時々vBIOSに持病を持つ世代があって、VMのシャットダウン時にフリーズする子がいる R9 3xx

13 GPU 別の話 - Intel ・新しめのkernelが必要（対応したのは4.8からだけど安定したのは4.10ぐらいから）・coffee Lake以降はKernel 5.1以降が望ましい

15 おすすめディストリその２ Arch Linux ・カーネルが新しければ新しいほど良い世界なので・みんな大好きArch Wiki

17 実機デモが見たいだと？ OSC Nagoya 2020 at 5/16(Sat) ここ数年KVMにVive繋いで「VMからVR」のデモやってます今年も去年に引き続き