音声コミュニティを守るAI監視基盤_ 90%以上の入力削減を支えたServerless設計と運用判断

Transcript

1. 音声コミュニティを守る AI監視基盤 : 90%以上の入力削減を支えた Serverless設計と運用判断 ServerlessDays 株式会社サイバーエージェント AIオペレーション室 CTO 岡 修平
2. 自己紹介・開発メンバー 株式会社サイバーエージェント AIオペレーション室 CTO 岡 修平 X: @oka000111 2024年、AIエンジニアとして中途入社 事業部へのAI導入チームをリード 開発メンバー（AIオペレーション室・ピグ事業部） LEE YUNSU BEエンジニア 濱口 宝 BEエンジニア X: @takara2314 松岡 穂高(ピグ) SREリーダー 02
3. ピグパーティとボイスパーティ ピグパーティ アバターを通じて 交流を楽しめるSNS ボイスパーティ 部屋やパーティルームで 参加者同士が音声で話せる リアルタイムの会話機能 画像・説明：CyberAgent Developers Blog 03
4. ピグパーティの担当者から受けた相談 AI監視を実装すると月 1,000万円以上 かかってしまいそう ボイスチャットに AI監視を入れたい。 でも、予算が足りない。どうすればよいか。 相談時の概算。実際に支払った月額ではない。
5. 問題の深掘り 1 AI監視は、本当に必要か？ 人手の監視はすでにある。 未成年の個人情報のやり取りや、 危険な出会いにつながる発言をさらに拾うため必要。 2 コストは、どこまで下げられるか？ 音声の入力と、モデル判定の両方を見直す。 05
6. 音声の収集からAI判定・監視報告まで 無音検出・削除と 1.5倍速の音声前処理は特許出願済み 06
7. 段階的に絞り込む Model Cascade 後段へ進むほど、 AIに渡す件数が減る 一次判定 軽量モデル 全件から広く 違反の候補を拾う 二次判定 精密モデル 候補だけを精密に判定 明らかな誤検知を除く 三次判定 精密モデル 残った候補を再確認 人が確認する対象へ 最終判断は運営チーム 幅は件数のイメージ（実測比率ではない） DoorDashのSafeChatも段階的な絞り込みを活用 https://careersatdoordash.com/blog/doordash-safechat-ai-safety-feature/ 07
8. コスト削減とイベント駆動設計 前処理から三次判定まで、同じLambda内で実行 運営チーム Amazon S3 Amazon SQS 音声保存 保存通知 AWS Lambda 前処理・文字起こし 一次〜三次判定 候補を確認 最終判断 通知1件ずつ 外部AI API DynamoDB 結果を保存 08
9. 判定と処理を振り返る記録 確認したいこと 記録・取得先 情報・指標 NG判定, 判定の根拠 DynamoDB 結果・音声参照 プロンプト版・使用量 処理中の出来事 CloudWatch Logs 実行ログ・例外 スキップ理由 エラーと実行時間 CloudWatch Metrics ErrorCount Lambda Duration 記録した情報を、週次で集計 判定件数・エラー・実行時間をSlackへ送信 09
10. 試験リリースで、期待とのズレが出た AIがNGとしたもののうち、人も NGと判断した割合 約50% 期待 約35% 試験リリース後 0% 期待より 約15ポイント低い なぜ、検証時の期待に届かなかったのか？🤔 10
11. 検証時は1人、本番は複数人だった 検証時 試験リリース後 1人 複数人 正解を判定する担当者 正解を判定する担当者 仮説：評価者ごとに、判断基準が違うのでは？ 同じ発言を、同じ基準で評価できているかを確認 11
12. 判断基準を明文化し、人とAIで揃える 監視の判断基準を明文化 監視担当者に共有 AIのプロンプトに反映 担当者ごとのブレを抑える 人と同じ基準で判定・評価 人とAIが同じ基準で判定・評価 検証時とのズレを解消 12
13. 運用につながった成果 入力データを削減 監視カバレッジ 90%以上 99.9% 音声の前処理と 対象の絞り込み → コストも運用できる金 額に落ち着いた 1日のほぼすべてが 監視対象 リスクのある会話を検知 月500件 未成年の個人情報や 出会いにつながる会話 13
14. まとめ：問題解決を支えた判断 依頼を必要性・削減余地などの論点に分け順に検証 必要性を確認し、コスト削減の余地を検証。 削減後の費用に見合う価値を責任者と確認し、 リリースへ進んだ。 評価のズレを、判断基準の統一で解消 ズレは検証時と本番で評価者の数が変わったことが原因だと 鋭い仮説を立てることができた。 14