AI AgentOps LT大会(2025/04/16) Algomatic伊藤発表資料

2025/04/16に開催されたAI Agent Ops LT大会 (https://mlops.connpass.com/event/347046/) にて発表した際の資料です。
マーケティング向けクリエイティブ生成AIプロダクトにおけるクリエイティブ評価の事例について紹介しました。

Transcript

1. AI AgentOps LT⼤会 2025.04.16 1
2. ⾃⼰紹介 2 データサイエンティストとして位置情 報分析に従事。その後、⽣成AIプロダ クト開発を担当。 AIを活⽤した業務変⾰⽀援‧⾃社のAI プロダクト開発を担当。 AI Transformation(AX) 伊藤 光祐/ Kosuke Ito
3. ⽣成AIでマーケティング活動を 加速させる
4. © 2025 Algomatic Inc. 4 ネオデザインAI活⽤イメージ例 AIによるアウトプット Input Input 貴社既存クリエイティブ 新規訴求要件 商品画像 商品名 テキスト 【例】 和漢バランスEX 【例】 4⽉2⽇から セール開始! 管理画⾯から 必要な情報を インプット パターンのクリエイティブ提案が AIにより複数⽣成される 新規訴求商品 既存クリエイティブ
5. 5 本⽇のテーマ ネオデザインAIにおける⽣成クリエイティブの評価
6. 6 ネオデザインAIにおける⽣成クリエイティブ評価の必要性 ネオデザインAIではレイアウトを解析してテンプレート化を⾏う。AI⽣成のテンプレートクリエイティブ と元クリエイティブの⼀致度合いを評価して、テンプレート⽣成を改善していく必要がある。 ネオデザインAIを使ったクリエイティブバリエーション作成フロー テキスト 商品 画像 テキ スト テキ スト テキスト 差し替えテキスト 差し替え画像 (編集機能があるとはいえ)最終アウトプットに品質をテンプレートの再現度が左右 既存クリエイティブからテンプレートを⽣成 テンプレートの要素を差し替え
7. 7 評価⽅法とその課題 プロダクトのUX観点を重視し、元のクリエイティブを再現するための修正編集がどれほど必要か評価。実 際に修正時間を計測するわけにもいかないため⼈間が感覚的に評価しているが、それでも負担が⼤きい。 ロゴ 元クリエイティブ AI⽣成クリエイティブ※ ※今はもっと性能良いです テキスト 画像 帯 ⼈⼒での評価では評価できるクリエイティブの数や項⽬に限界がある 差分 修正時間 3分 5分 1分 1分
8. 8 LLM as a Judgeによる⾃動評価 クリエイティブを構成要素に分解し、それらの過不⾜や位置‧サイズをVLMによって評価するといった⾃ 動化を検討中。 検討中の評価フロー 正解 評価対象 VLM 評価項⽬ 修正時間 要素の過不⾜ 3分 画像要素の位置 1分 画像要素のサイズ 1分 図形要素の位置 1分 図形要素のサイズ 1分 テキスト要素の位置 3分 テキスト要素のサイズ 3分
9. 9 プロトタイプの評価結果 LLM as a Judge⾃体の評価精度の評価が必要ではあるものの、差分を認識できており、⾃動化ができそう な所感は得られている。 評価項⽬ 修正時間 要素の過不⾜ 3分 画像要素の位置 1分 画像要素のサイズ 1分 図形要素の位置 1分 図形要素のサイズ 1分 テキスト要素の位置 2分 テキスト要素のサイズ 2分 理由※ ロゴ要素が省略されている 縦位置調整が必要 微調整が必要 区切り位置の微調整が必要 ⾼さ‧幅の微調整が必要 ⾏間や位置がやや異なる 微妙に違いが⾒られる 正解 評価対象 GPT-4.1を使った場合の評価結果例 ※本当はもっと⻑い⽂章が出⼒されていますが、収まりきらないので要約しています。
10. 10 まとめと今後の展望 • UXを重視して、元のクリエイティブを再現するのに必要な修正時間で AI⽣成クリエイティブを評価した • 定性的な画像評価にもLLM as a Judgeが有効そう • 今後LLM as a Judgeが実⽤に耐えうるかの評価を⾏いたい • さらに、Few Shot学習などで評価精度の改善も⾏いたい