生成AIは安心・安全に貢献できるのか

Transcript

1. 生成AI 安心・安全に 
 貢献できる か 
 藤坂 祐介
 DSC, CyberAgent,Inc.

2. Introduction
 自己紹介
 藤坂 祐介 (ふじさか ゆうすけ)
 
 2012年新卒入社
 部署: 旧秋葉原ラボ→DSC
 担当: Orionなど
 趣味: 旅行・気象・PC
 属性: 2児 父
 00

3. CAにおけるコンテンツモデレーション 
 本発表 位置づけ 
 ・10/29発表 CADC 詳細版
 - https://cadc.cyberagent.co.jp/2024/sessions/content-moderation-ai/ を
 ご覧ください
 01

4. CAにおけるコンテンツモデレーション 
 OrionとAI
 Orionと生成AI
 まとめ
 01
 02
 03
 04
 CONTENTS

5. 01
CAにおけるコンテンツモデレーション 

6. CAにおけるコンテンツモデレーション 
 CA メディア・サービス 
 ・多数 メディア・サービスを提供 
 01

7. CAにおけるコンテンツモデレーション 
 CA メディア・サービス 
 →たくさん コンテンツに支えられている 
 01

8. CAにおけるコンテンツモデレーション 
 ユーザが生成するコンテンツ 
 ・ごく一部 ユーザによる悪質なコンテンツが問題となっている 
 悪質コンテンツ
 低品位
 誹謗中傷
 詐欺
 個人情報
 そ 他
 01

9. CAにおけるコンテンツモデレーション 
 ユーザが生成するコンテンツ 
 ・「悪質なコンテンツ」比率 
 01
 <1/1000

10. CAにおけるコンテンツモデレーション 
 ユーザが生成するコンテンツ 
 ・ごく一部 ユーザによる悪質なコンテンツが問題となっている 
 低品位
 誹謗中傷
 詐欺
 個人情報
 そ 他
 01
 エロ・グロ・荒らし…
 特定人物・組織などへ 中傷・粘着荒らし …
 金銭詐取・クリックベイト …
 氏名・電話番号・SNSアカウント…
 出会い目的 利用・犯罪・自殺 …

11. CAにおけるコンテンツモデレーション 
 悪質なコンテンツ 問題 
 01
 ・ユーザに対する影響 
 - ユーザへ 身体・精神へ ダメージ
 - 経済的な損害
 ・サービス・企業に対する影響 
 - サービス 信頼低下→企業へ 信頼低下→収益低下
 - 法的なリスク
 ・社会に対する影響 
 - 社会不安 醸成

12. CAにおけるコンテンツモデレーション 
 悪質なコンテンツ 問題 
 01
 ・影響を最小化するために 
 - 公開されている時間が長いほど影響が大きくなることが知られている
 - サービスや人員など 兼 合いで対応時間を決定 
 - 原則としてコンテンツや投稿したユーザを排除する
 - 警告など アプローチをとるケースも 

13. CAにおけるコンテンツモデレーション 
 Orionと 
 ・コンテンツを確認・削除するため プラットフォーム 
 　(コンテンツ・モデレーションシステム )
 01

14. CAにおけるコンテンツモデレーション 
 Orion データループ 
 ・コンテンツ データを活用 
 01

15. 02
OrionとAI

16. OrionとAI
 コンテンツ 
 ・どんなコンテンツが投稿される か 
 02

17. OrionとAI
 コンテンツ 
 ・テキスト　画像　動画像　…
 02

18. OrionとAI
 コンテンツ 
 ・コメント・チャット　ブログ 
 02

19. OrionとAI
 コンテンツ 
 ・Orionが扱うコンテンツ 特徴 
 - 多く サービスからコンテンツが集まってくる
 - データ 種類も色々
 - ゆえに長短がバラバラ(1文字〜数万文字)
 - マルチモーダルなコンテンツも
 02

20. OrionとAI
 コンテンツに対するフィルタリング 
 ・フィルタリング 組み合わせ 
 02
 コメント
 チャット
 ブログ本文
 ユーザ名
 ワードフィルタ
 連投検出
 ルールベース
 テキスト判別
 画像判別
 プロフィール画像

21. OrionとAI
 コンテンツに対するフィルタリング 
 ・フィルタリング 組み合わせ 
 02
 コメント
 チャット
 ブログ本文
 ユーザ名
 ワードフィルタ
 連投検出
 ルールベース
 テキスト判別
 画像判別
 プロフィール画像
 計算量・リソース 小
 計算量・リソース 大

22. OrionとAI
 テキストフィルタリング 
 02
 テキスト分類 
 言語検出・翻訳 
 コンテンツ 言語検出・翻訳 
 テンプレート 
 特定 文章に同一また 類似したも 検出 
 スパム分類 
 悪質なコンテンツ 分類および検出 
 品質分類 
 コンテンツ 「質 良さ」 分類 

23. OrionとAI
 画像フィルタリング 
 02
 画像分類 
 物体・顔など検出 
 特定 物体 検出、顔 部分 検出 
 スパム分類 
 悪質なコンテンツ 分類および検出 
 類似画像検出 
 過去投稿されたコンテンツに類似したも 検出 
 QRコードデコーダ 
 2次元コード 内容からフィルタリングを行う 

24. OrionとAI
 現在 フィルタリング 課題 
 ・ワードフィルタとカバレッジ 
 - ひっかかりやすいワード→無実 コンテンツが巻き込まれる
 - ワードを限定→有害なも が残る
 ・複雑な表現 
 - 皮肉や比喩 文章に対する対応
 - 検索避け(文.字 🉇🉈 など)
 ・学習データ 
 - 悪質なコンテンツ 手口 移ろう
 - 社内データ 限界
 - 社外データ入手 ハードル
 02

25. OrionとAI
 現在 有人レビュー 課題 
 ・皮肉も含めた微妙な表現を判断できる 
 ・どんなタイプ コンテンツにも柔軟に対応可能 
 だが…
 
 ・24時間体制 維持が大変 
 ・コンテンツによる心身へ 影響 
 - 特に悪質なコンテンツ
 02

26. 03
Orionと生成AI

27. Orionと生成AI
 なぜ生成AI？
 ・生成AIにより各課題を解決できる で ？ 
 —
 ・ワードフィルタとカバレッジ 
 - NGワードに頼らずコンテンツを判断可能
 - プロンプトによるカバレッジ 調整[TODO]
 ・複雑な表現 
 - 比喩も含めた表現に対応可能
 ・学習データ 
 - LLMなら十分なデータを持っていることが期待できる
 03

28. Orionと生成AI
 生成AIによる業務改善 例 
 ・ABEMA コメントから悪質なユーザを抽出 
 03
 BigQuery
 VertexAI
 +
 Gemini
 Spreadsheet

29. Orionと生成AI
 生成AIによる業務改善 例 
 ・ABEMA コメントから悪質なユーザを抽出 
 03
 BigQuery
 VertexAI
 +
 Gemini
 Spreadsheet
 投稿と同時に 
 フィルタリング +
 一部オペレータが確認 
 コメントを格納 
 一部コメントに 
 生成AIを適用
 結果を保存 
 オペレータ 判断で 
 ユーザを排除 

30. Orionと生成AI
 プロンプト 
 ・プロンプト例 
 03
 以上 リスト形式 テキストそれぞれについて、以下 内容が含まれる可能性を 0から1ま で 範囲で小数点第二位まで出力してください。 … a.誹謗中傷をしている b.他 ユーザに不快感を与える … (計7要素)
31. Orionと生成AI
 結果
 ・排除されたユーザ数 
 - 概 1ヶ月程度で低位に推移
 - 「肌感」でも好評
 03

32. Orionと生成AI
 結果
 ・コスト
 - インフラ込みで0.1円未満/コメントで処理可能
 - Gemini 利用料に限れ 0.01円未満
 - →安価に実現可能
 03

33. Orionと生成AI
 課題点
 ・プロンプト 正当性 
 - コンテンツ+プロンプト=出力 検証 これから
 ・ハレーション 
 - 一部同一 コンテンツで出力スコアが異なることがある
 - ユーザ コメント 概観がわかれ いい でそこまで問題視していない
 ・処理時間 
 - 1件あたり約1秒以上かかる
 - API レートリミットも存在
 - 全量リアルタイム処理 不可→フィルタリング 代替として 機能しない
 ・セーフティフィルタ 
 - フィルタ 解除をしてもらう必要あり
 03

34. Orionと生成AI
 有人レビュー 代替 
 ・生成AIによるオペレータ 代替ができないか調査中 …
 03

35. 04
まとめ

36. まとめ
 本日 まとめ 
 ・コンテンツを安全に保つために コンテンツモデレーションが必要 
 ・AI要素を使ったフィルタリングやモデレーションを提供している 
 ・生成AIを用いたコンテンツ 検出に成功した 
 ・これからやることもある 
 04

37. まとめ
 End
 ・ノウハウをお持ち 方ぜひお話聞かせてください！ 
 04