Core Audio tapを使ったリアルタイム音声処理のお話

Flutter Tokyo #9の5分LTでの資料です。

Transcript

1. Core Audio tapを使った リアルタイム⾳声処理のお話 ML Engineer @ Kotoba Technologies Japan 佐々木　裕多 Flutter Tokyo #9
2. ⾃⼰紹介 名前：佐々⽊ 裕多 所属：Kotoba Technologies Japan, 東京科学⼤ (休学中) 肩書：ML Engineer 興味：対話エージェントとかマルチモーダル⾳声認識とか（研究話） Flutter歴  ：3週間くらい.... X: @Sloth65557166  GitHub: @yuta0306
3. 会社紹介＆今⽇の本題！ 話すよりデモ
4. 聴きながら話す⾳声アプリの難しさ • 外部⾳声、周辺ノイズの影響 • 出⼒⾳声のループバック • Speech-to-speech翻訳アプリを考えると... ◦ 翻訳元⾔語の⾳声ソースは？ ▪ オンラインミーティングや動画の翻訳だと、マイクを使わず にPC⼀つで完結したい → とりうる選択肢は？ ScreenCaptureKit or Core Audio tap 新しいAPIだし、 こっち使ってみた
5. Core Audio tapをざっくり • macOS 14.2+, Xcode 15.1+で使えるApple公式API • アプリ/プロセス単位で出⼒⾳声をタップして取得 • 複数のアプリやプロセスをまとめることも可能
6. Core Audio tapを使って広がる⾳声アプリの世界 • 単⼀/複数プロセスの⾳声に絞って録⾳できる！ • 聴きながら話すアプリでも、ループバックが起きないよ！ ◦ 綺麗なシステム⾳声だけが取れて、 周辺環境のノイズに影響されない！
7. App BridgePlugin Process Tap Recorder Audio Queue 録⾳リクエスト Process tap 起動 成功 バッファ追加 … ポーリング まとまった⾳声バッファ ⾳声バッファ … FlutterMethodChannel FlutterEventChannel
8. Core Audio tapで踏みがちな地雷もあって... 5分LTなので今⽇は割愛...
9. 結びに 踏みやすい地雷は多いけど、、、 Core Audio tapで、 デスクトップ⾳声アプリケーションの幅が 広がるよ！！🚀
10. References 1. Core Audio taps: https://developer.apple.com/documentation/coreaudio/capturing-system-audio-with-core-audio- taps 2. MethodChannel: https://api.flutter.dev/flutter/services/MethodChannel-class.html 3. EventChannel: https://api.flutter.dev/flutter/services/EventChannel-class.html