コンテンツモデレーションにおける適切な監査範囲の考察

GREE Tech Conference 2025で発表された資料です。
https://techcon.gree.jp/2025/session/TrackA-6

Transcript

1. コンテンツモデレーションにおける 適切な監査範囲の定め方 株式会社WFS モデレーションデザイナー 石井晃紀
2. 石井 晃紀 BPOベンダーでのモデレーション業務を経 て、2023年にグリー株式会社（現：グリー ホールディングス株式会社）へ入社 グリーグループが提供しているSNSサービス のモデレーション業務に従事 監査基準の策定や品質管理を担当 株式会社WFS モデレーションデザイナー 2
3. 目次・アジェンダ • モデレーション業務とは • 監査範囲について考えることになったきっかけ • どのように監査範囲を定めるのか • 適切な監査範囲を定めることで得られる効果 • まとめ 3
4. モデレーション業務とは 4
5. モデレーション業務とは 5 　　テキスト 　　画像・動画 　　配信・音声 ✓　投稿のチェック ✓　違反投稿の削除 ✓　違反アカウントの削除 インターネット上に投稿されたコンテンツをチェックし、 利用規約に違反している投稿の削除やアカウント削除等の対応を行う業務
6. モデレーション業務とは 6 モデレーションの種類 事前監査 通報監査 事後監査 ユーザー投稿 サービス反映 モデレーション ユーザー投稿 モデレーション サービス反映 ユーザー通報 サービス反映 モデレーション
7. モデレーション業務とは 7 モデレーションの種類 事前監査 通報監査 事後監査 ユーザー投稿 サービス反映 モデレーション ユーザー投稿 モデレーション サービス反映 ユーザー通報 サービス反映 モデレーション
8. モデレーション業務とは 8 モデレーションの役割 ユーザーの保護 　ユーザーを有害なコンテンツから保護し、　 安全かつ快適な利用環境を提供 企業の信用性向上 　提供しているサービスの健全性担保 コンプライアンスの遵守 　法律で禁止されているコンテンツの排除
9. モデレーション業務とは 9 モデレーションに必要な要素 迅速かつ適切な判断 適切な監査範囲
10. 監査範囲について考えることになったきっかけ 10
11. 11 監査範囲について考えることになったきっかけ 効率化によるコスト削減
12. 監査範囲 12 コスト削減に影響するモデレーション要素 対処の種類 対象コンテンツ 判断基準 監査範囲について考えることになったきっかけ
13. 13 コスト削減に影響するモデレーション要素 監査範囲 対処の種類 判断基準 対象コンテンツ 監査範囲について考えることになったきっかけ
14. 14 監査範囲 監査範囲を適切なボリュームに抑えることで、コストの抑制が可能 監査範囲について考えることになったきっかけ
15. どのように監査範囲を定めるのか 15
16. どのように監査範囲を定めるのか 16 監査範囲を定める4つの観点 違反の常習性 コンテンツの特性 リスクの度合い 違反投稿の存在位置
17. 17 監査範囲を定める4つの観点 違反の常習性 コンテンツの特性 リスクの度合い 違反投稿の存在位置 どのように監査範囲を定めるのか
18. 18 違反投稿の存在位置 どのように監査範囲を定めるのか 会話 の 流れ
19. 19 違反投稿の存在位置 監査対象投稿から近い 違 反 投 稿 の 出 現 率 監査対象投稿から遠い 監査対象投稿が違反投稿だった場合に、関連する違反投稿の存在位置 監査対象投稿との距離（何件離れているか） どのように監査範囲を定めるのか
20. 20 違反投稿の存在位置 違 反 投 稿 の 出 現 率 監査対象投稿から 最低限140件 は確認したほうがよい どのように監査範囲を定めるのか 監査対象投稿が違反投稿だった場合に、関連する違反投稿の存在位置 監査対象投稿から近い 監査対象投稿から遠い 監査対象投稿との距離（何件離れているか）
21. 21 違反理由毎に調べることによって、より詳細な監査範囲を設計できる 67.1% どのように監査範囲を定めるのか：補足 違 反 投 稿 の 出 現 率 監査対象投稿から近い 監査対象投稿から遠い 監査対象投稿との距離（何件離れているか）
22. 22 違反理由毎に調べることによって、より詳細な監査範囲を設計できる 67.1% どのように監査範囲を定めるのか：補足 違 反 投 稿 の 出 現 率 　　違反理由「出会い」　：100件 　　違反理由「誹謗中傷」：200件 　　違反理由「性的内容」：150件 監査対象投稿から近い 監査対象投稿から遠い 監査対象投稿との距離（何件離れているか）
23. 23 違反投稿の存在位置 監査対象投稿が違反であった際の関連する違反投稿の存 在位置を調べることで、 　　　　　　　　　「監査範囲の目安」を特定できる さらに深堀りするならば、 違反理由毎に調べることによって、 　　「違反理由毎の監査範囲の目安」を特定できる どのように監査範囲を定めるのか
24. 24 違反の常習性 コンテンツの特性 リスクの度合い 違反投稿の存在位置 どのように監査範囲を定めるのか 監査範囲を定める4つの観点
25. 25 違反の常習性 どのように監査範囲を定めるのか チェック対象投稿が違反だった場合に、同様の違反投稿を行っている場所の数 ※場所とは：他の投稿コンテンツや、異なるユーザーへの投稿を指す 違反投稿 違反投稿 違反投稿 ？
26. 26 違反の常習性 出会い 性的内容 誹謗中傷 どのように監査範囲を定めるのか チェック対象投稿が違反だった場合に、同様の違反投稿を行っている場所の数 ※場所とは：他の投稿コンテンツや、異なるユーザーへの投稿を指す
27. 27 違反の常習性 出会い 性的内容 誹謗中傷 どのように監査範囲を定めるのか チェック対象投稿が違反だった場合に、同様の違反投稿を行っている場所の数 ※場所とは：他の投稿コンテンツや、異なるユーザーへの投稿を指す 出会い関連の投稿を検知した場合は、投 稿者が行っている他の場所での投稿も チェックしたほうがよい
28. 28 違反の常習性 「違反理由毎に他の場所での違反状況（常習性）」を調 べることで、 「チェック対象が存在しない場所での監査範囲」を検討 できる どのように監査範囲を定めるのか
29. 29 違反の常習性 コンテンツの特性 リスクの度合い 違反投稿の存在位置 どのように監査範囲を定めるのか 監査範囲を定める4つの観点
30. 30 コンテンツの特性 プロフィール プロフィール情報を一体のものとして作り上げているユーザーが多い ニックネーム、自己紹介文、アイコン画像、アバター、顔写真・・等、 あわせてチェックすることでユーザーの投稿意図が把握できる DM 参加者が少ないコンテンツのため、会話の流れが分かりやすい ただし、親密なユーザー同士が会話している場合は、監査範囲が広くなるこ ともある コミュニティ スレッド コミュニティは、タイトルや説明文をチェックし、どのような場なのかを理 解したうえで判断する スレッドは、特定の投稿に対する返信のため、親投稿をあわせてチェックす ることで会話を理解しやすい コンテンツの特性にあわせた監査範囲を定める必要がある どのように監査範囲を定めるのか
31. 31 違反の常習性 コンテンツの特性 リスクの度合い 違反投稿の存在位置 どのように監査範囲を定めるのか 監査範囲を定める4つの観点
32. 32 リスクの度合い 人命に関わる内容 　自殺や殺人、テロ予告 重大な犯罪に繋がる内容 　詐欺や薬物売買の勧誘 青少年の保護に関わる内容 　児童ポルノ、売春の誘いかけ どのように監査範囲を定めるのか 違反投稿のリスク度合いによって監査範囲を広げる必要がある
33. どのように監査範囲を定めるのか 33 違反の常習性 コンテンツの特性 リスクの度合い 違反投稿の存在位置 監査範囲を定める4つの観点
34. どのように監査範囲を定めるのか 34 不適切投稿の常習性 コンテンツの特性 リスクの度合い 不適切投稿の存在位置 監査範囲を定める4つの観点 適切な監査範囲はサービスによって異なる 提供している価値 / ユーザー層 / 文化 / コンテンツ / リスク
35. 適切な監査範囲を定めることで得られる効果 35
36. 適切な監査範囲を定めることで得られる効果 36 発言意図の正確な理解 　ある程度の会話の流れを読み込まないと 　適切な判断はできない コスト抑制 　品質面では全投稿チェックが良い 　ただし莫大なコストが発生する 迅速な対応 　工数が削減され、 　違反投稿を早期に検知可能になる
37. 適切な監査範囲を定めることで得られる効果 37 適切な監査範囲を定めたことにより、 　違反投稿検知数を維持しつつ 20％ のコスト削減 　　　　　　　　　　　　　　　　　　　　　　に成功
38. まとめ 38
39. まとめ 39 違反の常習性 コンテンツの特性 リスクの度合い 違反投稿の存在位置 どのように監査範囲を定めるのか 　　✓ 監査範囲を特定できる 　　✓ 違反理由ごとの 　　　監査範囲を特定できる 　　✓ 他の場所での投稿を 　　　チェックすべきか検討できる 　　✓ コンテンツごとの 　　　監査範囲を特定できる 　　✓ 違反投稿の内容に応じた 　　　監査範囲を特定できる サービスごとに適切な監査範囲が存在する
40. まとめ 40 適切な監査範囲を定めることで得られる効果 発言意図を正確に読み取るため 　ある程度の会話の流れを読み込まないと 　適切な判断はできない コスト抑制のため 　品質面では全投稿監査が良い 　ただし莫大なコストが発生する 迅速な対応のため 　監査工数が削減され、 　違反投稿を早期に検知可能になる
41. さいごに 41 是非、情報交換・連携しながら インターネットの健全性を守っていきたい
42. ご清聴ありがとうございました 42