Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AIによるレビュー承認自動化___導入後14日間のレポート_.pdf
Search
matsui-dmm
February 11, 2025
0
650
生成AIによるレビュー承認自動化___導入後14日間のレポート_.pdf
matsui-dmm
February 11, 2025
Tweet
Share
More Decks by matsui-dmm
See All by matsui-dmm
20250326_生成AIによる_レビュー承認システムの実現.pdf
takahiromatsui
18
6.7k
レビュー承認業務のAI自動化の紹介.pdf
takahiromatsui
0
150
AWS_Re_Invent_2024_参加レポート.pdf
takahiromatsui
0
320
レビュー基盤のDBクラウド化対応.pdf
takahiromatsui
0
12
生成AI(Claude3.5 Sonnet)による 次世代型レビュー承認システムの実現
takahiromatsui
1
360
Featured
See All Featured
Building an army of robots
kneath
304
45k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Raft: Consensus for Rubyists
vanstee
137
6.9k
Java REST API Framework Comparison - PWX 2021
mraible
30
8.5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
104
19k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Facilitating Awesome Meetings
lara
54
6.3k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Adopting Sorbet at Scale
ufuk
76
9.3k
Writing Fast Ruby
sferik
628
61k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
119
51k
Building Flexible Design Systems
yeseniaperezcruz
329
38k
Transcript
生成AIによるレビュー承認自動化 〜導入後14日間のレポート〜 合同会社DMM.com プラットフォーム開発本部 第一開発部 ユーザーレビューグループ 松井 高宏
2 レビュー承認の課題 • レビュー承認作業は年間数十万件に増加、10年で10倍以上に • 承認には最長1週間を要し、ユーザー体験の課題に • オペレーターの負担も大きく、毎月150時間以上の作業が発生 レビュー投稿数推移(直近 10年)
3 生成AIを活用した自動承認システム • 生成AI活用し、人の代わりに自動承認する仕組みを構築 • 1月27日から本格稼働、今回は導入後14日間の結果を報告 チョー最高!! 女優はゴミ 購入するな ◦
公開 × 削除 レビュー 生成AI
4 自動化の第一段階 • 人とAIの完全一致エリアを自動化 • 具体的には、AIスコア0.15以下のサービス かつ 特定のサービスのみ AI承認 人承認
14日間の自動化運用の実績
6 a. AIの承認数 • 当初から自動化されていない投稿数 ◦ 14日間(1/27 09:00 -2/10 09:00)で計15992件
◦ AI承認が58.2%(9301件)で、約6割を自動化 • レビュー投稿全体は、34197件 (星のみ投稿 + ブクログ連携も含める)
7 b. AIの承認速度 • AI 投稿から10分以内に100%承認、人は0.6% • 人 通常3日程、長くて1週間程度かかる場合も (AIとの速度差が顕著に)
8 今後の自動化計画 • STEP1 AIスコアが0.15以下の特定のサービスの自動化 (6割自動化) • STEP2 AIスコアが0.15以下の全サービスを自動化 (7割自動化)
• STEP3 AI判定OKしたエリア全て自動化 (8割自動化) 現状 STEP2 STEP3 0.15
9 当初の懸念 • 直近で自動化率8割を目指す中、オペレーターの業務量減が懸念 ◦ 150時間以上の作業が急に削減 (最終的にほぼなくなる可能性もあり) ◦ 従来のシステム化=人の支援、 AI=人の完全代替え •
同時に新たな役割の創出出来なれば自動化は進まない
10 実際のオペレーターの声 • 「全体の作業量がかなり減った」 • 「作業が半分になって楽になった」 • 「最初は無理だと思っていたが、実現できてすごい!」 • 「時間の余裕が生まれ、別の業務もできるようになった」
• 「もっと自動化を進めても良い。」
まとめ • 14日間の運用で自動承認率6割超を達成、公開速度が大幅向上 • 直近で8割までの自動化も可能。調整を進めつつ拡大へ • 「作業が楽になった」 と好意的な声 • オペレータは空いた時間を活用、新たな業務への対応も進行中
今後もレビューグループではAIを主軸としたプロダクトを開発し、 より良いレビューを実現します。今後にご期待ください。
ご清聴ありがとうございました