深層学習と古典的画像アルゴリズムを組み合わせた類似画像検索内製化

第63回 コンピュータビジョン勉強会＠関東の発表資料。
https://kantocv.connpass.com/event/344139/

概要：
世界182ヶ国に1100万人超の会員を有し、出品数630万品を超える CtoC EC サイト BUYMA を運営する株式会社エニグモにおいて、類似画像検索システムを内製化した事例をご紹介します。 BUYMA の出品商品名寄せのために、これまで他社製の類似画像検索システムを利用していました。深層学習と古典的画像アルゴリズムを組み合わせた手法を開発し、同等の精度を維持しつつ約8〜9割のコスト削減を実現しました。

詳細を記載した技術ブログ：
・https://tech.enigmo.co.jp/entry/2024/11/15/101000
・https://tech.enigmo.co.jp/entry/2024/12/05/070000

Transcript

1. Last Updated 2025.01.21 深層学習と古典的画像アルゴリズムを組み合わせた類似画像検索内製化 2025/02/24 第63回 コンピュータビジョン勉強会 株式会社エニグモ 髙橋 蹴人
2. 名前： 髙橋 蹴人（Shuto Takahashi） 所属及び役職： 株式会社エニグモ　データテクノロジーグループ　データサイエンティスト 担当業務例： ・レコメンド ・生成AIを利用した機能 ・類似画像検索 ・マーケティングコスト最適化 X（旧 Twitter）：s_takahashi_st 関心： ・機械学習関連の知識を得て、自身の課題に応用し結果を知ること ・機械学習をビジネス成果に結びつけること 自己紹介
3. 会社概要 世界各国のパーソナルショッパーから 世界中のファッションアイテムを購入 できるマーケットプレイス 世界中のリアルなトレンドがわかる ファッション・コスメ・ライフスタ イルを提案するWebメディア 海外旅行者に対して海外在住の日本人 が現地でのプライベートツアーを提供 できるサービス BUYMA TRAVEL 社名　 株式会社エニグモ (英文社名: Enigmo Inc) 事業内容 インターネットビジネスの企画・開発・運営 所在地 東京都港区赤坂8-1-22 NMF青山一丁目ビル 6F 設立 2004年 2月10日 代表者 代表取締役 最高経営責任者 須田 将啓 従業員数 150名（2024年1月末時点） 上場市場 東京証券取引所 プライム市場 資本金 3億8190万円
4. サービス紹介「 BUYMA 」 BUYMAは、世界各国のパーソナルショッパー(出品者)から、 世界中のファッションアイテムを購入できるマーケットプレイス。 日 本 未 上 陸 ブランド、 国 内 完 売 アイテムをはじめとした 世界中のファッショントレンドアイテムからコスメ、インテリア雑貨 まで幅広く揃えています。 ※2024年10月末時点 世界182カ国に1100万人以上の会員を擁する ソーシャルショッピングサイト※
5. • 内製化の目的、事業インパクト • BUYMA における類似画像検索の課題 • 類似画像検索手法の説明 類似画像検索のロジック部分のみ話します。 システム化部分など他の部分の詳細は弊社技術ブログに記載しています。 発表外のことが気になった方はぜひご覧いただけますと幸いです。 ・コスト削減と精度維持を両立！類似画像検索システムの内製化成功事例（機械学習編） ・コスト削減と精度維持を両立！類似画像検索システムの内製化成功事例（システム編） アジェンダ
6. 内製化の目的 商品名寄せのための他社製の類似画像検索システムのコスト削減 CtoC という特性上同じ商品が異なる出品者から出品される場合が多い ・売れ筋の商品 ・サイト全体での在庫状況 ・価格差 などの正確な把握には商品の名寄せが必要 他社製の類似画像検索システムで商品画像同士の類似度計算、一定以上を人手でチェックし名寄せ システム費用が高く、コスト削減を実現したい 類似画像検索システム 類似度: 0.9 この画像同士は確かに同じ商品だ
7. 年間数百万円規模（約８〜９割）のコスト削減 システムリプレイス済み、業務利用し精度問題なし 主担当1名で約1年で企画から本番向けのシステム開発まで完遂 今後見込むインパクト： ・名寄せ以外にも類似画像検索システム利用があり、移行によりさらなるコスト削減 ・コストが高く断念していた EC サイトでの画像起点レコメンド、画像による検索などの検討 内製化による事業インパクト
8. BUYMA における類似画像検索の課題 そのままの画像同士で類似度計算すると、同じ商品にも関わらず類似度が低く出てしまう 様々なものをコラージュしている場合が多いため 商品画像は出品者の方が自由に設定可能 色違い/角度違いの商品、着用画像や文字などがコラージュされていることが多い
9. 画像から商品部分を切り抜き、その部分同士で類似度計算 処理ステップ： 1.商品画像内の物体存在箇所をセグメンテーションし切り抜き 2.切り抜いた画像の Embedding 計算 3.Embedding により画像同士の類似度計算 4.画像ハッシュにより画像同士の類似度計算 5.Embedding 類似度と画像ハッシュ類似度を組合せ同一商品の可能性判定 Embedding：画像を数値の列に変換したもの 画像ハッシュ：視覚的特徴を数値化し簡略化した表現 各ステップの詳細は技術ブログに記載 類似画像検索方法の概要 [0.2, 0.8, 0.4, 0.1, …] [0.3, 0.7, 0.1, 0.1, …] Embedding 類似度: x.xxx 画像ハッシュ類似度: y 同一商品可能性判定 1. 1. 2. 2. 3. 4. 5.
10. Segment Anything Model (SAM) により物体存在箇所を切り抜き SAM: 大量データで事前学習済みのセグメンテーション深層学習モデル ステップ1: 商品画像のセグメンテーション
11. Japanese-CLIP モデルにより各切り抜き画像の Embedding 計算 Japanese-CLIP: 大量の画像と日本語テキストの対応関係を事前学習済みの深層学習モデル ステップ2: 切り抜いた画像の Embedding 計算 [0.2, 0.8, 0.4, 0.1, …] [0.3, 0.2, 0.9, 0.7, …]
12. 切り抜き画像の Embedding の組み合わせごとの類似度を計算、最大値を画像同士の類似度とした ステップ3: Embedding により画像同士の類似度計算 この値を出品者A、Bの商品画像同士の類似度とした
13. ステップ4: 画像ハッシュによる類似度計算 Embedding 類似度のみでは防げない誤検知を抑止 Embedding 類似度が過剰に 高くなってしまうパターンがあった Embedding 類似度が一定以上の組み合わせについて画像ハッシュ類似度計算 画像ハッシュ: 視覚的特徴を簡略化し比較する古典的アルゴリズムで、大まかな構造の類似が分かる 例えば、Average Hash (aHash) では大まかに言うと画素値が平均よりも高いかで2値化して比較
14. Embedding と 画像ハッシュ類似度を組み合わせて判定 精度に大きな乖離がないことを確認 しきい値は、他社製のものと判定数をおおよそ同じになるよう調整（移行後の運用がしやすいように） しきい値調整用のデータ（約704億の画像ペア）とテスト用のデータ（約1785億の画像ペア）を用意 既存のものでの判定結果を正としたときに Precision 、 Recall を計算 ※Precision 、 Recall を悪化させる要因: 既存のシステムでも誤検知や見逃しが多くあった ステップ5: 同一商品の可能性判定 Precsion Recall しきい値調整用のデータ 0.7 0.72 テスト用のデータ 0.8 0.77
15. 既存システムと内製化システムを一定期間並行運用していただき、運用上の精度も問題ないことを確認 その後単独運用を数ヶ月継続しており精度の問題は発生していない 業務での精度確認
16. 深層学習モデルと古典的な画像アルゴリズムを組み合わせ類似画像検索システム内製化 精度を維持しながら大幅なコスト削減実現 実施内容： ・BUYMA での類似画像検索の課題に対する手法開発 ・セグメンテーションや Embedding 計算のために事前学習済みの深層学習モデル活用 ・深層学習モデルで対応できなかった部分は古典的な画像アルゴリズム活用 今後：さらなるコスト削減や EC サイト内での類似画像検索などを検討予定 まとめ