building_audio_plugin_ecosystem_on_Android.pdf

slides for my 15 min. LT at shibuya.apk #41 (2023/4/21)

Transcript

1. Androidに 楽器のエコシステムを作る atsushieno
2. Androidは音楽アプリ市場で立場が弱い モバイル = iOS みたいに思われている どうにかしたい Androidにいま足りないもの＝「オーディオプラグイン」を作っている GitHub: atsushieno/aap-core
3. オーディオプラグイン is 何? InstrumentとEffect DAW (digital audio workstation): DTM (desktop music, 和製英語) の作業環境 オーディオプラグインは (主に) DAWでロードされる楽器
4. オーディオプラグインのしごと audio input -and/or- MIDI input を受け取って audio output (-and/or- MIDI output) を生成 (MIDI: 楽器演奏命令の規格 ) 楽器は演奏命令から音声を生成する エフェクターは音声を加工する オーディオプラグイン以前: MIDI楽器の時代
5. 公開プラグインフォーマット プラグインAPI等を共通規格化すれば 好きなDAWで好きな楽器を使える ポピュラーなフォーマット: - VST 2, 3 (Win / Mac / Linux) - AudioUnit v2 (Mac), v3 (iOS / Mac) - LV2 (Linux / Mac / Win) 機能とAPIがそれぞれ異なる
6. iOSにもある…? AUv3プラグインがけっこうある
7. Androidは…? ¯\_(ツ)_/¯ DAWアプリはある （楽器は全部 in-app synths） プラグインフォーマットが無いので 自由に楽器を選べない(!)
8. Audio Plugins For Android to fill the gap ※まだまだ開発中
9. AAP ecosystem: current state of union ※まだ実用できるDAWはない
10. AAP APK Installer atsushieno/android-ci-package-installer on gitHub プラグインもDAWも全部別々のアプリで まだPlay Storeには出していない（不安定 / 多すぎ） GitHub releases / Actions artifactから DL & installする仕組みを作ってある
11. プラグインとホスト(DAW)はどこから? 全部GitHubにあるOSSで、特に以下のものが多い (C/C++): - JUCE: 複数のフォーマットをサポートするプラグイン開発ライブラリ - LV2: Linux上の代表的なプラグインフォーマット 運が良ければ小一時間で1本移植できる
12. モバイルの課題 #1: アプリケーション配布とプロセス分離 DAWとプラグインは別々の開発者が公開するもの デスクトップのようにはプラグインのネイティブコードをdlopen()できない… solution: DAWとプラグインをIPCで繋ぐ Service Binder IPC, NdkBinder (minSdk 29) Apple AUv3も同様（プロセス分離, IPC）
13. モバイルの課題 #2: GUI Androidアプリの一般的なGUI: Activityの切り替え デスクトップのようにはDAW上でプラグインのUIをダイアログ表示できない… solution: 1. DAW側のWebViewにWeb UIをロードし、 IPCでプラグインを操作 2. System Alert Window - 特別なパーミッションの下でViewを表示 （IMHO: UIはモバイル向けに作り直すべき）
14. モバイルの課題 #3: extension API (if time permits...) • モダンなプラグインフォーマットのAPIは柔軟な拡張機構をもつ（AAPも） • 拡張機能は誰でも定義可能（プラグインとDAWで実装されて初めて有用になる） • 拡張機能には関数があるものだけど、ここでもIPCが必要 • DAWとプラグインの開発者がIPCも実装するのは無駄に煩雑… solution: • 拡張機能を定義した開発者がIPCの部分も実装する • DAWとプラグインはそれぞれ拡張機能のIPCをAAPのAPIに沿って呼び出す
15. AAPのその他の特徴 MIDI 2.0ネイティブ: 32bit floatパラメーターをMIDI2で操作可能 Instrumentプラグインは仮想MIDIデバイスとして利用可能
16. Lastly... 世界最先端を行っているはずなので割と面白いと思います でもまだいろいろ足りないことだらけ 興味がある人がいたらぜひ一緒にやってください せんでん: Audio Plugins For Androidの設計と実装 @ M3 2023春 & 技術書典14（予定） Android Audio Devs Discord https://discord.gg/6AC3heft (英語)