Take a small step beyond the api

オーディオ入出力APIの向こう側を少しだけ覗いてみた話
2025.05.22. RubyKaigi 2025 事後勉強会 oto

Transcript

1. オーディオ入出力APIの 向こう側を少しだけ覗いてみた話 @makicamel RubyKaigi 2025 事後勉強会 oto 2025.05.22
2. 自己紹介 @makicamel / 川原万季 Ruby とビール とお酒が好き 好きな言葉は「エイってやってバーン」 ㈱アンドパッド
3. RubyKaigi 2025たのしかったですね
4. LightningTalk 　　Road to RubyKaigi: Making Tinny Chiptunes with Ruby 　https://rubykaigi.org/2025/presentations/lt/
5. RubyでBGMを作って鳴らす話をしました
6. RubyでBGMを作って鳴らす話をしました
7. 本日のお題 音の遅延
8. 今日は事後勉強会 ということで潔くみなさんの期待を裏切って 事後に@makicamelが音の遅延にまつわる勉強をした話をします 調べた結果わからなかったものがあります ご存知でしたら・間違ってたら教えてください
9. LTのおさらい
10. 音は
11. 音は 波（サンプリングデータ）をつくる 1. PortAudioに渡す 2. Rubyで音を鳴らせる 3.
12. PortAudio PortAudio https://github.com/PortAudio/portaudio クロスプラットフォームオーディオ入出力API提供ライブラリ ffi-portaudio https://github.com/nanki/ffi-portaudio PortAudioのRubyバインディング
13. PortAudio 初期化して class AudioEngine < FFI::PortAudio::Stream include FFI::PortAudio def initialize(bass_sequencer, melody_sequencer) @sources = [bass_sequencer, melody_sequencer] API.Pa_Initialize open(nil, output_params, bass_sequencer.sample_rate, 2 ** 12) start at_exit do @muted = true sleep 0.5 # 無音にしてから終わる close API.Pa_Terminate end end
14. PortAudio コールバック関数で波データ（サンプリングデータ）を書き込むだけ class AudioEngine < FFI::PortAudio::Stream def process(_input, output, framesPerBuffer, _timeInfo, _statusFlags, _userData) samples = Array.new(framesPerBuffer, 0.0) @sources.each do |source| framesPerBuffer.times do |i| # source.generateで波形データを生成する samples[i] += source.generate end end output.write_array_of_float(samples) :paContinue end
15. PortAudio クロスプラットフォームオーディオ入出力API提供ライブラリ macOS Windows Linux
16. PortAudio OSごとにネイティブオーディオ入出力APIがある macOS CoreAudio Windows MME, DirectSound, WASAPI, etc Linux ALSA, OSS, etc
17. PortAudio だいたい対応している 　　PortAudio API Overview 　https://files.portaudio.com/docs/v19-doxydocs/api_overview.html
18. PortAudio 各OSのオーディオ入出力APIのラッパー オーディオ操作の抽象化 コールバックベースのリアルタイムスレッド制御 ストリームのバッファ管理 オーディオAPIごとの差異吸収
19. PortAudio 各OSのオーディオ入出力APIのラッパー オーディオ操作の抽象化 コールバックベースのリアルタイムスレッド制御 ストリームのバッファ管理 オーディオAPIごとの差異吸収
20. コールバックベースのリアルタイムスレッド制御
21. コールバックベース コールバック方式 非同期処理 例えば: ゲームBGM ブロッキング方式 非同期処理が不要・できない・したくない場合に使える
22. コールバックベース コールバック方式 アプリケーションはサンプリングデータをバッファに書き込むだけ
23. コールバックベース コールバック方式 アプリがPortAudioを呼ぶ PortAudioがCoreAudioスレッドを立ち上げる
24. コールバックベースのリアルタイムスレッド制御
25. スレッド制御 50msの間に無数のスレッドが生成・実行・ブロック・終了されている
26. スレッド制御 QoS スレッド優先度
27. スレッド制御 QoS（Quality of Service） スレッド（タスク）の優先度をOSスケジューラに伝える OSによって設計が異なる
28. QoS(macOS) QoSに応じて優先順位をつけ、スケジューリングする QoSが高いほど応答性とパフォーマンスを重視 QoSが低いほどエネルギー効率を重視 Prioritize Work at the Task Level(Documentation Archive) 　https://developer.apple.com/library/archive/documentation/ Performance/Conceptual/power_efficiency_guidelines_osx/PrioritizeWorkAtTheTaskLevel.html
29. QoS(macOS) User-interactive UIの更新、アニメーション実行など。瞬時に終わる User-initiated ファイルを開く、ユーザ操作のレスポンスなど。瞬時〜数秒以内に終わる Utility ファイルダウンロード、データインポートなど。数秒〜数分以内に終わる Background 同期、バックアップなど。数分〜数時間以内に終わる
30. QoS(macOS) それ以外のタイプ Default デフォルト。User-initiated〜Utilityの中間として扱う Unspecified 未指定。OSが推測する
31. スレッド優先度 Real-time threads 他に何が動いていても決められた割合だけ確実に実行される優先順位を持つ Kernel mode only カーネルから作成され、すべてのユーザー空間スレッドよりも高い優先度で実 行する必要がある System high priority Normal Kernel Programming Guide(Documentation Archive) 　https://developer.apple.com/library/archive/documentation/Darwin/ Conceptual/KernelProgramming/scheduler/scheduler.html
32. スレッド優先度 QoS(macOS)、スレッド優先度共に新しいドキュメントを見つけられなくて 関連、詳細や現状は不明
33. スレッド優先度 PortAudio オーディオ 遅れたら困る
34. スレッド優先度 com.apple.audio.IOThread.client priority: 97
35. スレッド優先度 priority: 97は高いのか？ バックグラウンド処理: 1〜9 Ruby, Google Chrome Helper: 31〜34 iTerm2: 46 ws_main_thread: 79 macOSのGUIアプリのメインスレッド BuiltInSpeakerDevice: 97 ほぼ最高といってよさそう
36. PortAudioの抽象化 アプリは何も知らなくてもPortAudioがうまくやってくれる コールバックベースのリアルタイムスレッド制御 ストリームのバッファ管理 オーディオAPIごとの差異吸収
37. 効果音遅延
38. 効果音遅延 CoreAudio macOS組み込み音フレームワーク API群を提供 CoreAudioファミリー AVFoundation 高レベルAPI群
39. AVFoundation Road to RubyKaigiでは一時期効果音にAVFoundationを使っていた 以下の組み合わせにすると効果音再生が100ms〜300ms遅延 効果音: AVFoundation（AVAudioPlayer#play） BGM: PortAudio
40. AVFoundation AVAudioPlayer#playはブロッキング AVAudioPlayer#playのみだと遅延しない PortAudioと組み合わせるとAVAudioPlayer#playが遅延する
41. AVFoundation AVAudioPlayer#playはブロッキング 前処理: 同期 デコード・バッファ確保・初回バッファ書き込み 再生処理: 非同期 仮説: 前処理を事前に済ませておけばいいのでは？ ファイルのポーズ・再生を行っても（=前処理が終わった状態でも）遅延した
42. AVFoundation Rubyから扱うと計測・問題の切り分けが難しい スレッド優先度の差？ たぶんこれかなぁ 複数ストリームによるオーバーヘッド？ ... 効果音もBGMもPortAudioに一本化することで遅延は解消
43. まとめ PortAudioのAPIしか知らなくても音は鳴らせる 一歩先を覗いてみると面白い いろんなレイヤーがある いろんなアプローチがある C言語（など）が読めないと道のりは険しい
44. ゲームプレイ
45. SpecialThanks @youchan
46. ご清聴ありがとうございました