カスタムエフェクトプラグインで Atom Craft をいい感じにする@ADX / ADX LE勉強会 vol.1

ADX / ADX LE勉強会 vol.1 の LTで発表した資料です
https://connpass.com/event/337976/

Transcript

1. カスタムエフェクトプラグインで Atom Craft をいい感じにする @ADX / ADX LE 勉強会 vol.1 塩澤達矢(COx2) 2024/12/20
2. クレジット 本発表のデモには、VOICEVOXで生成した音声を使用しています。 https://voicevox.hiroshiba.jp/
3. 何者？ 名前：塩澤達矢（COx2） 株式会社COCOTONE 代表取締役 https://www.cocotone.jp/ JUCEフレームワークが得意な組織です オーディオプラグイン・オーディオアプリケーション の受託開発およびコンサルテーションを提供してい ます 属性： ・JUCE enthusiast ・オーディオプログラマー ・インデペンデントJUCEプログラマー ・JUCE JAPAN編集部代表
4. 当LTのスコープ ・ADX LE で触れる機能 　・Atom Craft 　・ミキサー 　・Custom Effect Plugin ・ADX プロジェクト自体については触れない 　・e.g. ワークユニット、AISAC、キュー管理の話題
5. Atom Craft, ミキサー, エフェクトプラグイン 公式マニュアル - CRI ADX: ミキサー https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_dsp_bus_setting.html ミキサーとはMasterOutを含むバスを集めたものです。 ミキサーでは、バスを任意に接続したり、各バスにリバーブ等の高度なエフェクトを設定することができます。
6. Atom Craft, ミキサー, エフェクトプラグイン 公式マニュアル - CRI ADX: ミキサー https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_dsp_bus_setting.html
7. Custom Effect Pluginについて https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_dsp_bu s_setting.html CRI ADX および CRI Atom Craftではユーザーによるエフェクトプラグインの作成もサ ポートしています。 独自のエフェクトプラグインを利用するには、CRI ADX で利用できる形式でのエフェクト の作成が必要となるため、CRI ADX Audio Effect Plugin SDK をご利用ください。
8. ミキサーで VST3 プラグインが使えます https://game.criware.jp/manual/native/adx2/latest/criatom_tools_atomcraft_custom _effect_plugin.html ADX のオーディオエフェクトとしてCRI標準のエフェクトとは別に、ユーザーが作成した エフェクトやサードパーティー製のエフェクトをプラグインとして利用することができます。 CRI Atom Craftでは VST3 形式のプラグインに対応しています。 CRI ADX Audio Effect Plugin SDKで作成されたエフェクトプラグインをVSTとして作成 することで、ツール上でのパラメーター調整が行いやすくなります。
9. 補足：VST3プラグイン is 何？ ・Steinberg Media Technnologies GmbH. が規格・管理するオーディオプラグイン形式 ・多くのDAW（Digital Audio Workstation）がサポートしている ・所謂、デファクトスタンダードとなっている 　・Steinberg Cubase / Nuendo / Wavelab 　・PreSonus Studio One 　・Ableton Live 　・FL Studio 　・Reaper ・一方で、Logic Pro、ProToolsは非サポートである
10. Custom Effect Plugin について ・VST3 プラグイン形式 ・VST3 プラグインには2種類ある 　・エフェクトプラグイン 　・インストゥルメントプラグイン ・使用できるのは『エフェクトプラグイン』のみ
11. Custom Effect Plugin を追加する ・VSTプラグインマネージャを開く ・プラグイン検索パスにVST3プラグインが配置されたフォルダを追加する ・初期インストール時点で、システム標準のVST3フォルダは登録されている
12. Custom Effect Plugin を追加する
13. Custom Effect Plugin の注意事項 ・Atom Craft 上での使用までに留まる ・原則、VST3 プラグインはゲームエンジンやコンソール上では動作しない 　・それらの環境でVST3ホストが実装されている必要がある 　・ビルドしてもVST3プラグインの情報は含まれない
14. ランタイムに持っていけない
15. VST3プラグインである意味が無いのでは？
16. そんなことはない
17. VST3エフェクト＝音声編集用途
18. とは限らない
19. 非編集用途で使ってみよう ※無料プラグイン縛りあり
20. ケース１：解析用途
21. Socalabs ・SocaLabs 　・シンセサイザー 　・エフェクト 　・アナライザ 　・https://socalabs.com/ 　・全部無料
22. SocaLabs
23. SocaLabs ・全部無料 ・OSS 　・https://github.com/FigBug/slPlugins 　・ソースコードを入手できる 　・DSPの実装が分かるから安心
24. Socalabsのデモ
25. ケース２：放送用途
26. NDI Tools NDI（Network Device Interface）とは、NewTek社 （現Vizrt社）によって開発された、 IPネットワーク経 由でビデオやオーディオを伝送する方式です。 映像と音声をIP伝送することができます。 https://tricaster.jp/ndi-central/ndi-tools/
27. NDI Tools NDI Tools に同梱されている NDI Audio Direct は、VST3プラグイン形式なので、 Atom Craftで読 み込むことができます これを使うと、Atom Craftでプレビューしているミキ サー上の音声をIP伝送 (Audio over IP) すること ができます。 NDI for Audio https://ndi.video/tech/ndi-for-audio/ NDI Audio Direct 解説動画 (日本語字幕付き) https://www.youtube.com/watch?v=JJzosC9Muu w
28. NDI for Audio のデモ
29. ここまでが前半
30. 振り返り：紹介したSocaLabsはOSS ・全部無料 ・OSS 　・https://github.com/FigBug/slPlugins 　・ソースコードを入手できる 　・DSPの実装が分かるから安心
31. ソースコードが見える
32. ということは、
33. VST3プラグインは自作できる。
34. VST3プラグインを作るには ・VST3 SDK を使う 　・VST3 SDKは無料で取得できる 　・リリース時にはライセンス許諾のオプションを選ぶ https://www.steinberg.net/developers/
35. VST3プラグインをなるべく簡単に作るには ・開発言語向けフレームワークやツールセットの選択肢がある 　・C++ 　　・JUCE 　　・iPlug2 　・Rust 　　・nih-plug
36. VST3プラグインをなるべく簡単に作るには ・開発言語向けフレームワークやツールセットの選択肢がある 　・MATLAB 　・Faust 　・Max RNBO 　・Cmajor
37. VST3プラグインは作れる
38. ということは、
39. カスタムエフェクトプラグインは作れる。
40. 自作プラグインのデモ
41. デモ：CRI LipSync が動くVST3プラグイン ・VST3プラグインのUI上でLive2Dを動かす ・ミキサーの音声で CRI LipSync が動く ・技術スタック 　・JUCE フレームワーク 　・Live2D Cubism Native SDK 　・Live2D Cubism Native Framework 　・Live2D Cubism Motion Sync 　　・CRI LipSync のエンジンと統合済み
42. まとめ ・Custom Effect Plugin は VST3プラグインを使用できる ・ただし、以下の制約がある 　・エフェクトプラグインのみインサート可能 　・ランタイムにVST3プラグインを持っていくことはできない 　　・プラットフォームの制約 　　・ライセンスの制約
43. まとめ ・ツール上で完結する用途なら必要十分なケースもある 　・特定規格向けのメーター等（ラウドネス計測） 　・音響信号の視覚化（スペクトラム） 　・特定のエフェクトの前後の処理時間からレイテンシを計測する 　・IP伝送（Audio over IP）を利用してモバイル端末でサウンドチェック ・VST3プラグインは自作できる ・自作のカスタムエフェクトプラグインで Atom Craft をいい感じにできる
44. おまけ：VST3プラグインのGUIをUnity Webで作る https://github.com/COx2/audio-plugin-unity-web-ui 技術スタック ・VST3 ・JUCE ・WebView ・Unity 　・Web platform 　・Native Plugin for JavaScript
45. おわり
46. 以降、補足
47. 非編集用途でおすすめのVST3プラグイン ・SocaLabs 　・シンセサイザー 　・エフェクト 　・アナライザ 　・https://socalabs.com/ 　・全部無料
48. SocaLabs
49. SocaLabs
50. SocaLabs
51. SocaLabs