Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of album...
Search
MIXI ENGINEERS
PRO
January 15, 2025
Technology
2
290
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of albums by person
本スライドは、2025年1月15日に開催された「
エンジニアが語る プロダクトへの AI / ML 導入・活用事例
」のみてね木内の登壇資料です。
MIXI ENGINEERS
PRO
January 15, 2025
Tweet
Share
More Decks by MIXI ENGINEERS
See All by MIXI ENGINEERS
プロジェクトマネジメント実践論|現役エンジニアが語る!~チームでモノづくりをする時のコツとは?~
mixi_engineers
PRO
4
260
スクラムマスターなしでもいい感じにスクラム開発している話
mixi_engineers
PRO
1
350
組織のデータリテラシー向上に向けて ~ MIXI データ活用ガイドラインができるまで 〜
mixi_engineers
PRO
6
260
MIXI配信取り組み
mixi_engineers
PRO
2
120
MIXIにおけるWebRTC技術の活用/Use of WebRTC Technology in MIXI
mixi_engineers
PRO
2
170
「モンスターストライク」の運営を支えるデータ分析基盤の歴史と進化 / History and evolution of the data analysis infrastructure supporting “Monster Strike” operations
mixi_engineers
PRO
3
490
【全貌公開】 MIXI の Atlassian Cloud 移行の裏側 / Behind MIXI's Migration to Atlassian Cloud
mixi_engineers
PRO
0
800
MIXI TECH NOTE #12
mixi_engineers
PRO
2
99
運営11年目タイトルを守る最強の盾の有効性と活用法
mixi_engineers
PRO
2
520
Other Decks in Technology
See All in Technology
20250718_ITSurf_“Bet AI”を支える文化とコストマネジメント
helosshi
1
180
P2P通信の標準化 WebRTCを知ろう
faithandbrave
6
2.1k
BEYOND THE RAG🚀 ~とりあえずRAG?を超えていけ! 本当に使えるAIエージェント&生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025
jnymyk
4
220
室長の逆襲 :データ活用の陣地を増やすためのヒント
masatoshi0205
0
170
AI Ready API ─ AI時代に求められるAPI設計とは?/ AI-Ready API - Designing MCP and APIs in the AI Era
yokawasa
20
5.5k
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
18k
Shadow DOM & Security - Exploring the boundary between light and shadow
masatokinugawa
0
630
Semantic Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
2
370
サービスを止めるな! DDoS攻撃へのスマートな備えと最前線の事例
coconala_engineer
1
220
QAを早期に巻き込む”って どうやるの? モヤモヤから抜け出す実践知
moritamasami
2
170
How do i Get in Touch With QuickBooks Payroll Support®️ USA Contact Numbers: Complete 2025 Support Guide
connectquickbooks
0
110
地図と生成AI
nakasho
0
550
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
246
12k
Typedesign – Prime Four
hannesfritz
42
2.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.2k
It's Worth the Effort
3n
185
28k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Art, The Web, and Tiny UX
lynnandtonic
301
21k
Fireside Chat
paigeccino
37
3.5k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
We Have a Design System, Now What?
morganepeng
53
7.7k
Transcript
1 ©MIXI 「⼈物ごとのアルバム」の精度改善の軌跡 エンジニアが語る プロダクトへの AI / ML 導⼊‧活⽤事例 2025/1/15
登壇資料 @kittchy
2 ©MIXI ⾃⼰紹介
©MIXI 3 ⽊内 貴浩 / きのうち たかひろ / kittchy 株式会社MIXI
Vantageスタジオ みてねプロダクト開発部 Data Engineeringグループ ⾃⼰紹介 2024年3⽉: 豊橋技術科学⼤学で⾳声認識の研究で修⼠号取得 2024年3⽉: ⾳声処理のスタートアップ/ML系受託開発会社で ⾳声処理MLモデル開発やMLOps業務 2024年4⽉: 株式会社MIXI新卒⼊社 2024年5⽉: みてねプロダクト開発部 Data Engineering Group に配属
©MIXI 4 家族アルバム みてねはスマホで撮った⼦どもの写真や動画を家族と共有し、 コミュニケーションして楽しむ家族アルバムサービスです。 家族アルバム みてねについて
©MIXI 5 本⽇話す内容 「⼈物ごとのアルバム」について • 「⼈物ごとのアルバム」とは? • 顔分類の⼿法 「⼈物ごとのアルバム」の改善 •
半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化 改善の結果
6 ©MIXI 「⼈物ごとのアルバム」について
©MIXI 7 「⼈物ごとのアルバム」とは? みてねにアップロードされた 写 真 や 動 画 を
プログラムで 判 別 し、お ⼦ さまの 顔 ごとに ⾃動分類する機能 できること 1. まとまりでアルバムを表⽰ • お⼦さま個⼈ • ⼦どもたち(兄弟や姉妹 ) • 家族みんな 2. ⽉齢ごとに成⻑メモを残すことで、 簡単に成⻑を振り返ることができる
©MIXI 8 顔分類の⼿法 詳細「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」 顔の経年変化の影響で 特徴量も変わってしまう ため、一定期間ごとに 区切ってクラスタリング
©MIXI 9 顔分類の⼿法 1月 2月 3月 4月 5月 顔特徴量 顔特徴量
顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 お子様A お子様B お子様A お子様B お子様A お子様B 同じクラスタにお子様を紐づけ 前の期間のセントロイド に近い クラスタのセントロイド を 計算し、クラスタを紐づける お子様の成長による顔の変化を 考慮して最大 2ヶ月以内の期間に 区切って処理 ご家族のアップロードした画像の撮影日 初回のみ年齢推定結果などを用いて クラスタとお子様と紐づけ お子様とクラスタを紐づける「名 寄せ」処理が走る
10 ©MIXI ⼈物ごとのアルバムの 課題 / 改善
©MIXI 11 • 半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化
⼈物ごとのアルバムの課題 / 解決策
©MIXI 12 半教師ありクラスタリングについて 課題 期間ごとにデータの偏りが発⽣することがわかり、セントロイドによる紐づけが失敗してしまう問題が発覚 - 期間内に撮影した写真に、特定のお⼦様の写真が少ない - 横顔やマスクの顔ばかり -
クラスタの位置が⼤きくズレる 改善 - セントロイドによる紐づけから、半教師ありクラスタリングに変更 - 過去の分類済みのクラスタリング結果(クラスタID)を正として擬似教師ラベルとして活⽤ - 半教師にする特徴量は、お⼦様を優先して、過去3ヶ⽉以内の顔からN個取得 半教師 半教師 詳細:「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」
©MIXI 13 制約付きクラスタリング 課題 双⼦のお⼦様や顔のよく似たお⼦様の場合、同じクラスタに属してしまう問題が発覚 クラスタリングのハイパラを⼿動調整すれば分類可能だが、すべてのご家族に⼿動対応するのは不可能 改善 「制約付きクラスタリング」として、同⼀写真に写っている顔は同じクラスタに属さないという 制約を設けて、お⼦様のクラスタが分裂するようにした 双子が同時に写った写真
Cannot-link お子様A お子様B ママ Cannot-link
©MIXI 14 名寄せの⼯夫 課題 名寄せが実⾏される条件は以下のとおり • ⼈物ごとのアルバムが新たに作成される時(プレミアム⼊会時) • お⼦様が⽣まれた時 ⼀⽅、それ以外はすべて過去のクラスタとの紐づけ処理によってお⼦様のアルバムを更新していく
クラスタの紐づけが⼀定期間以上失敗した場合、お⼦様のアルバムの更新が⽌まってしまう 改善 ひも付きが途切れたお⼦様を⾃動で再度紐づける「再名寄せ処理」を導⼊ ※ 3ヶ⽉以上途切れているご家族のみ対象 例)お⼦様が2⼈以上いるご家族の場合 お⼦様1⼈に対して 推定年齢、顔の数を⽤いて 再度⾃動名寄せ お子様A お子様B その他 みんな お子様A お子様B その他 みんな
©MIXI 15 初回クラスタリングの最適化 課題 初回クラスタリング対象になる期間は、「⼈物ごとのアルバム」新規作成時(プレミアム⼊会)の直近の期間 例:2025/1/15にプレミアム⼊会の場合、2024/12~2025/1のメディア クラスタリングが難しい期間で初回クラスタリングが⾛った場合、失敗しがち。 - 他のお⼦様の顔が多い期間:運動会、お正⽉、イベントなど -
お⼦様の顔が写った写真が少ない期間 改善 お⼦様が⽣まれている全期間でクラスタリングしやすい期間を探し、初回クラスタリング対象期間とする - 顔が多く検出された期間 - 写真1枚あたりの、顔の数が少ない期間 これにより、難しい期間を避けて、お⼦様のお顔単体でたくさん写っている期間が選ばれる
©MIXI 16 その他の改善 顔特徴量抽出モデルのUpgrade 海外のご家族に対しての顔分類精度の向上 顔分析MLモデルのUpgrade 顔の検出、年齢推定、顔の向き推定などの精度を向上させることで、名寄せ処理の精度が向上 すでに壊れているご家族の⼈物ごとのアルバムを強制リセット お⼦様のアルバムが作成されてないなどの「アルバムが壊れた家族」を対象に⼈物ごとのアルバムを強制し、作 り直す対応
17 ©MIXI 改善結果
©MIXI 18 ひも付き率:毎⽇のクラスタリングのうち、過去のクラスタからお⼦様が紐づいて作成された割合 (グラフは世界全体のご家族の⼈物ごとのアルバムのひも付き率を⽰す) 2022年から⽐較すると、約15〜20 pts 改善 改善結果 条件付き クラスタリング導入
半教師顔の数を増やす 半教師あり クラスタリング 初回クラスタリングの 最適化 再名寄せ機能の 全家族導入
19 ©MIXI Data Engineering Groupについて
©MIXI 20 グループのミッション AI/MLとデータを活かし、「世界⼀愛されるサービス」 と「圧倒的収益」の実現を加速させる 主な業務 • みてねが提供する商材のレコメンド • 画像解析パイプラインの整備
• みてねに組み込むML技術の研究開発 募集中の職種 • (iOS/Android/Ruby on Rails)エンジニア Data Engineering Groupについて エンジニア 採用 グループ 紹介
21 ©MIXI