Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レビュー承認業務のAI自動化の紹介.pdf
Search
matsui-dmm
January 16, 2025
0
140
レビュー承認業務のAI自動化の紹介.pdf
matsui-dmm
January 16, 2025
Tweet
Share
More Decks by matsui-dmm
See All by matsui-dmm
20250326_生成AIによる_レビュー承認システムの実現.pdf
takahiromatsui
17
5.1k
生成AIによるレビュー承認自動化___導入後14日間のレポート_.pdf
takahiromatsui
0
550
AWS_Re_Invent_2024_参加レポート.pdf
takahiromatsui
0
290
レビュー基盤のDBクラウド化対応.pdf
takahiromatsui
0
12
生成AI(Claude3.5 Sonnet)による 次世代型レビュー承認システムの実現
takahiromatsui
1
340
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
12
1.4k
Automating Front-end Workflow
addyosmani
1369
200k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
15
1.1k
BBQ
matthewcrist
88
9.5k
Facilitating Awesome Meetings
lara
53
6.3k
A designer walks into a library…
pauljervisheath
205
24k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.4k
Side Projects
sachag
452
42k
A Modern Web Designer's Workflow
chriscoyier
693
190k
A Tale of Four Properties
chriscoyier
158
23k
Transcript
レビュー承認業務のAI自動化の紹介 合同会社DMM.com プラットフォーム開発本部 第一開発部 ユーザーレビューグループ 松井 高宏
2 ユーザーレビュー基盤 • DMMの60以上ある事業の商品レビューシステムを開発 • DMMのサービス改善に役立てている チョー最高!!見る価値あり! 久しぶりに笑わせてもらいました。
3 レビュー公開は承認制 レビュー DB • 事業部から投稿されたレビューをBC部が審査し、公開 ◦ 量が多いため、公開まで2〜3日、最大1週間程度の待ちがある・・ BC部審査
4 • レビュー承認作業: 数十万件/年〜 • BC部が3人体制で不適切投稿を日々、チェック (150時間〜/月) • 直近10年で10倍以上に増加、工数増大化も懸念 レビュー投稿数推移(直近
10年) 承認作業の増大化
5 • 出演者の誹謗中傷、サイトへの苦情、意味不明な文言など ◦ ゴミ、◦ね、出演すべきでない、糞 等 • ネガティブワードではなく、弊社特有のコンテンツ特性の考慮も必要 不適切なレビューの事例 不適切なレビューの割合
2024年 (およそ1年前) 生成AIで承認業務を自動化したい!
7 生成AIの言語解析能力 • レビュー(自然言語)の解釈は非常に難しい (例) • 最近生成AIは、レビューの微妙なニュアンスの違いも可能 例 「商品は期待はずれです。 もう二度と買いません。」
「商品は期待はずれです。 次回は買わないと思います。」 ・1番目は否定的 → 承認NG ・2番目は完全否定してない → 承認OK
プロジェクトの取り組み (第一弾〜第三弾)
9 • 生成AIで AWS Bedrockを活用し、承認システムを構築 • レビュー投稿後に各サービスと連携し、承認判定 レビュー投稿 承認判定 AI
第一弾 レビュー承認システム構築(PoC)
10 • 生成AIの判定結果(OK or NG)をBC部の管理画面に表示 • BC部の承認を補助する目的、最終判断は 「人」 太郎さんのレビュー テストテストテストテストテストテストテストテストテストテ ストテストテストテストテストテストテストテストテストテスト
テスト AIの見解 NG:文言不明 「テスト」という単語の無意味な繰り返しで構成されていま す。有用な情報を提供していません 承認を補助するAI レビュー管理システム
第二弾 判定精度の向上対応 • BC部と週次ヒアリング、様々な継続的な改善を実施 • 生成AIと人の判断の一致率(OK/NG)は99%に到達
承認を完全自動化しようとなると 1%の差異もAIを信頼出来ない人には 大きな障壁であった・・
第三弾 自動化の戦略 • AIスコア導入: 低スコアほど適切、高スコアほど要注意 • 「人とAIの判断一致領域」を特定し、細かな自動化の条件設定を可能とした
スコア分析 ・AIスコアが0.15以下は、人の判断とほぼ100%一致 ・全体の約70%がこの条件に該当することが判明
自動化の方針 ・AIスコア:0.15以下のレビューは、AIによる自動承認 ・AIスコア:0.15を超えるレビューは、従来通りBC部が承認 自動化ライン AIが自動承認 BC部が承認
公開後の安全策 • 承認チェック機能 ◦ 自動承認されたレビューは後日、確認できる機能を提供 • 通報機能 ◦ 不適切なレビューをユーザーが通知できる機能も実施中
まとめ • 従来、BC部が主導した難しい判断が、生成AIで実現可能となった • スコア導入でBC部とAIの役割を分離したことが自動化の鍵となった • 各事業部向けに自動化を進めています (動画事業部も先日、了承済み) ◦ 工数削減+リアルタイム公開も可能に 詳細はTechBlogで公開中
https://developersblog.dmm.com/entry/2025/01/16/110000
ご清聴ありがとうございました