SUZURI byGMOペパボ の 規約違反AIチェック -LLMとその「外側」の話- / Terms Violation AI Check at SUZURI by GMO Pepabo: LLMs and the Systems Around Them

GMOインターネットグループ AI NIGHT での登壇資料です。
開発に携わる SUZURI byGMOペパボにおける、LLMによる規約違反チェックについてお話ししました。
LLMの判定精度の改善だけでなくその「外側」の仕組みでどう誤りをハンドリングしているか触れています。

イベントページ: https://connpass.com/event/383703/

1. SUZURI byGMOペパボ の 規約違反AIチェック -LLMとその「外側」の話- SUZURI‧minne事業部 SUZURIグループ マーケティングチーム 渡辺⿓⼆ GMO Internet Group AI NIGHT
2. 2 ⾃⼰紹介 GMOペパボ株式会社 SUZURI‧minne事業部 SUZURIグループ マーケティングチーム 2021年 新卒⼊社 渡辺 ⿓⼆ わたさん • 九⼯⼤ 博⼠課程で機械学習の研究 • ⼊社後は研究開発員→Webエンジニア • SUZURI byGMOペパボのAI導⼊に携わる • X: @ae14watanabe 近影（カプリチョーザ大好き ❤）
3. アジェンダ 1. SUZURI byGMOペパボってどんなサービス？ 2. LLMによる規約違反チェック 3. 実⽤上⽣じてきた問題とその対処 3
4. SUZURI byGMOペパボは画像1枚で誰でも簡単にグッズを作れるサービス！ SUZURI byGMOペパボってどんなサービス？ 4
5. 作ったグッズをSUZURI byGMOペパボというマーケット上で公開‧販売できる SUZURI byGMOペパボってどんなサービス？ 5
6. • マーケットの健全性のために以下のデザインを規約で禁⽌している 🦸 著作権侵害（有名キャラクタの⼆次創作など） 📸 肖像権‧パブリシティ権侵害（第三者の写真の無断利⽤など） 🔞 過度に猥褻‧暴⼒‧グロテスクな表現 😡 第三者への誹謗中傷‧差別的内容 💉 反社会的な内容（違法薬物の推奨）などなどなど… • （アップロード前の注意喚起はあるが）どうしても規約禁⽌デザインはアップロードされてしまう フローが⼿軽すぎるがゆえ規約違反デザインがアップロードされることも LLMによる規約違反チェック 6
7. • 以前は⼈⼒でチェックを⾏っていた • とにかく数が多いのでごく⼀部に限定し実施 • ⼈⼒だと⼯数が⼤きくチェック数がどうしても制約される • ⼀昨年より ⼤規模⾔語モデル (Large Language Model: LLM)を導⼊ • 規約違反の判断は画像の意味理解‧世界の常識や知識との照合など ⾼度な推論が求められるためLLMが適任と判断 • LLMの導⼊により⼈間の⼯数 ⤵‧チェック総数 ⤴で マーケットの健全化に寄与 LLMによる⾃動規約違反チェックを実施 LLMによる規約違反チェック 7
8. デザイン画像 グッズ情報とプロンプトを⼊⼒としてLLMが違反有無やアクションを判定する LLMによる規約違反チェック 8 ※オプトアウト申請した上でOpenAIのAPIを利用 LLM※ 📝テキスト情報 タイトル/説明文/ユーザ情報な ど ⚙プロンプト 違反基準・対応方針など ⚠違反ジャンル 著作権侵害/エログロ など 出力 ☑違反状態 無違反/違反/判定不能 など 📣推奨アクション スルー/BAN/CSエスカレ など 💬判定理由 入力
9. • 以下の問題に対して、LLMの「外側」の仕組みで解決することを試みた事例を紹介します • 誤判断のリスクが⾼く⾃動化に踏み切れない • LLMが何度も同じデザインを誤ってBANしてしまう • なぜ外側の仕組みでの解決が重要なのか • LLM（機械学習モデル）の精度‧パフォーマンスが100%になることはありえない • 誤り‧不完全さがあることを前提として、 それを許容できる仕組みにしないとリリースできない • ※LLMの判定そのものの改善も⾏っていますが、今回は詳しく触れません 実際に運⽤して⽣じた問題とLLMの「外側」の仕組みで解決した話をします！ 実⽤上⽣じてきた問題とその対処 9
10. 問題1: ⼈間の役割をLLMで「代替」しようとするとリスクが⾼すぎる 実⽤上⽣じてきた問題とその対処 スルー 🚫BAN デザイン CS LLM 実アクション 通知 代替 違反判定 誤判定率 ⬆ スルー 🚫BAN 通知 クリエイタ 10 従来の CSフロー LLMによる 素朴なフロー 違反判定
11. • いきなりBANではなく、まずは⾮公開状態にして異議申し⽴てを受け付ける 解決策: AIの誤判定ありきでBANに猶予を持たせ救済フローを⽤意する 実⽤上⽣じてきた問題とその対処 11 違反判定 非公開 解除🐵 🙈非公開化 違反疑いの旨と 異議フォームの通知 🚫BAN CS 異議 申し立て 異議申し立て無 &一定期間経過 承認 拒否 LLM • 完全⾃動化には⾄っていないが、CSが定期的に確認することで改善サイクルを回しやすい利点も デザイン クリエイタ
12. ということで、誤ってBANした場合は異議申し⽴てで救済する 実⽤上⽣じてきた問題とその対処 12 ① アップロード ④ BAN通知 ⑤ 異議申し立て SUZURI app (自前環境) ② プロンプト📝 による判定依頼 ③ BAN判定（誤り） デザイン画像 （怪しいが無違反） ⑥ 承認 クリエイタ CS
13. • 何も⼿を打たない限りは、同じデザインがアップロードされるとまた誤ってBAN判定をする 問題2: 同じデザインに対して何度も誤ってBAN判定をしてしまう 実⽤上⽣じてきた問題とその対処｜その② 13 ① n度目の アップロード ④ n度目の BAN通知 ⑤ 異議申し立て SUZURI app (自前環境) ② プロンプト📝 による判定依頼 ③ BAN判定（誤り） 同一デザイン画像 （全く同じ or 微修正） ⑥ 承認 CS クリエイタ
14. • 「プロンプトの修正」という⻑めの改善サイクルとは別の改善を⽤意する必要がある 問題2: プロンプトの修正は副作⽤のリスクもあり即時適⽤は難しい 実⽤上⽣じてきた問題とその対処 14 ⑤ 異議申し立て SUZURI app (自前環境) ② プロンプト📝 による判定依頼 ③ BAN判定（誤り） ⑥ 承認 💦 ⑦ 即時反映 ❌ 人力での変更確認 and 副作用のため CS 同一デザイン画像 （全く同じ or 微修正） クリエイタ ① n度目の アップロード ④ n度目の BAN通知 クリエイタ
15. • 過去の事例ベースでのマッチングをLLMの外側に⽤意する 解決策: 過去の異議申し⽴てで承認したデザインとの類似度マッチングを⾏う 実⽤上⽣じてきた問題とその対処 15 ④ BAN通知 ⑤ 異議申し立て SUZURI app(自前環境) ⑥ 承認 🎵 CS 同一デザイン画像 （全く同じ or 微修正） 過去の承認デザイン 類似なら APIリクエスト しない 類似度を評価 MLモデルで ベクトル変換 クリエイタ 🍵 アップロード
16. まとめ • SUZURI byGMOペパボではLLMによる商品規約違反チェックを実施 • 実導⼊後⽣じた以下の問題に対して解決を試みた • 1. 誤BANのリスクが⾼く⾃動化に踏み切れない←誤判定時の救済フロー • 2. LLMが誤判定を繰り返す←外部に擬似的なフィードバック機構 • LLM⾃体の判定精度の改善も重要だが、LLMの誤りや派⽣する課題を LLMの外側でどう緩和‧解決していくかもまた重要 続きはぜひ懇親会で！ 16