NDIでApple Vision Proにリアルタイム映像送信

2026/10/14 開催 visionOS Engineer Meetup: vol.14 ショートトーク資料です

Transcript

1. NDIで Apple Vision Proにリアルタイム映像送信 SDK導入・Apple側の権限・受信の流れ visionOS Engineer Meetup: vol.14 @jyouryuusui
2. NDI 映像・音声・メタデータを とは IPネットワークで送受信 NDI（Network Device Interface）は、NewTek社（現Vizrtグループ）が策定したIPネットワーク上で 高品質・超低遅延な映像・音声を伝送するためのオープンプロトコル SDKには、送信・受信・ソース探索のためのAPIがある SDKの利用・配布はライセンス条件に従う NDI® is a registered trademark of Vizrt NDI AB
3. 主な用途 NDI Advanced SDK NDI SDK（通常版）これでOK 項目 アプリにNDI送受信を組み込む 高度な制御・専用機器への組み込み 対応 対応 NDI High Bandwidth 送信・受信に対応 送信・受信に対応 NDI HX2／HX3 受信・デコードに対応 加えて圧縮済み映像の送信・パススルー 圧縮映像の取り扱い 通常はデコード後の映像フレームを扱う GPU・専用ハードウェア 対応環境では受信デコードのハードウェア支援あり 独自ハードウェア・FPGA等との深い連携 同期・メモリ制御 Frame Syncなど基本API ソース検出・映像／音声の 送受信 Vision Proの基本受信 費用・契約 Apple SDKのvisionOS対応を利用可能。今回はこち らで動作済み 条件・除外事項付きでロイヤリティフリー 圧縮データに直接アクセスし、外部エンコーダ ー等と連携 Genlock、AV Sync、独自メモリ確保など追加 API 基本受信だけなら必須ではない 商用契約。具体的な料金は問い合わせ
4. Apple Vision Proへ届ける構成 送信元 ローカルネットワーク 受信アプリ PC・NDI対応カメラなど 同じネットワークで確認 Apple Vision Pro 今回は「映像を送る1台のPC（TouchDesigner送信） → 受ける1台のVisionPro」の構成で検証
5. NDI SDKの導入 01 現行のNDI Apple SDKを入手 利用条件と配布条件を確認する 02 マルチキャスト権限の要否を確認し、必要な場合はAppleへ申請 承認後は署名・プロビジョニングにも反映する 03 NDI SDKを導入し、実機で受信確認 Swiftから使うためのブリッジを用意する visionOS対応はNDI 6.2から
6. 01 現行のNDI Apple SDKを入手 NDI SDKはNDIツールに含まれていない SDKはSDKの個別ページがある https://ndi.video/tools/ ・NDI SDKのページからDOWNLOADページへ ・必要な申請項目を入力する 名前/職業/企業Eメール/国/企業/企業規模 https://ndi.video/for-developers/ndi-sdk/ なんのためにSDKを利用するか/初回DLか プライバシーポリシーのチェック
7. メールでNDI Apple SDKのリンクを入手 MacOS / iOS のリンク Install_NDI_SDK_v6_Apple.pkg をDLできる
8. 02 Apple側の権限と申請 ローカルネットワーク NSLocalNetworkUsageDescriptionに用途を記載し、 ユーザーの許可を得る。 Bonjourの宣言 同じネットワークにある機器やサービスを見つける仕組み NSBonjourServicesに、利用するサービス型 _ndi._tcp. を宣言する。 Multicast entitlement SDKの通信方式に応じてAppleへ申請し、有効化する。
9. Multicast Appleへの申請 直接UDPマルチキャスト／ブロードキャストを使う場合は、 Appleの承認とentitlementが必要 ３〜５日 https://developer.apple.com/jp/news/?id=0oi77447 https://developer.apple.com/contact/request/networking-multicast アプリ名 アプリカテゴリ アプリの目的 送信の理由 申請ページ
10. Multicast Appleへの申請 記述例 1. アプリの主な目的(Primary purpose of the app) 日本語 Live Player は Apple Vision Pro 向けの PoC(概念実証)アプリです。 1. アプリの主な目的(Primary purpose of the app) 同じローカルネットワーク上の Mac で動いている TouchDesigner から、NDI プロトコルで English Live Player is an internal proof-of-concept app for Apple Vision Pro. It receives a low-latency stereoscopic 180° video feed from TouchDesigner running on a Mac on the same local network, using the NDI protocol, and displays it in an immersive space. It is used only for in-house testing and is not distributed on the App Store. 低遅延の立体視 180° 映像を受け取り、イマーシブ空間に表示します。 テストだけに使い、App Store では配布しません。 2. マルチキャストが必要な理由 / Bonjour サービスタイプ 2. マルチキャストが必要な理由 / Bonjour サービスタイプ 日本語 このアプリは NDI SDK を使っており、ローカルネットワーク上の NDI 映像ソースを mDNS(Bonjour サービスタイプ: _ndi._tcp)で探します。 マルチキャストを使うのはこのソース探索だけで、アプリが前面にあり、ユーザーが ソースを選んでいる間に限られます。 映像そのものは、選んだソースとの間に NDI SDK が張るユニキャスト接続で受け取ります。 これ以外のマルチキャストやブロードキャストは送らず、関係のないサービスを探して English The app uses the NDI SDK, which discovers NDI video sources on the local network via mDNS (Bonjour service type: _ndi._tcp). Multicast is used only for this source discovery while the app is in the foreground and the user is choosing a source. The video itself is received over the unicast connection the NDI SDK sets up with the selected source. The app does not send any other multicast or broadcast traffic, does not scan the LAN for unrelated services, and does not use the network in the background. Declared NSBonjourServices: _ndi._tcp. LAN をスキャンすることも、バックグラウンドで通信することもありません。 宣言している NSBonjourServices: _ndi._tcp. 申請時は上記文章は流用しないでください。 あくまで例のため、実際の実装に応じて記載してください
11. TouchDesignerからNDI送信 TouchDesignerで映像を作り、NDIで送信し、 Vision Pro側で受信・表示
13. demo カメラはInsta360 Ace Proでテスト
14. まとめ AIで実装は進めやすくなったが、申請内容と利用条件の確認は 開発者が行う リアルタイム映像は今見ている視線が動的に変わるのが楽しい 生成AIでSwiftやTouchDesignerの障壁は本当に低くなりました ありがたい・・！