Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of album...
Search
MIXI ENGINEERS
PRO
January 15, 2025
Technology
2
230
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of albums by person
本スライドは、2025年1月15日に開催された「
エンジニアが語る プロダクトへの AI / ML 導入・活用事例
」のみてね木内の登壇資料です。
MIXI ENGINEERS
PRO
January 15, 2025
Tweet
Share
More Decks by MIXI ENGINEERS
See All by MIXI ENGINEERS
スクラムマスターなしでもいい感じにスクラム開発している話
mixi_engineers
PRO
1
110
組織のデータリテラシー向上に向けて ~ MIXI データ活用ガイドラインができるまで 〜
mixi_engineers
PRO
6
110
MIXI配信取り組み
mixi_engineers
PRO
2
40
MIXIにおけるWebRTC技術の活用/Use of WebRTC Technology in MIXI
mixi_engineers
PRO
2
70
「モンスターストライク」の運営を支えるデータ分析基盤の歴史と進化 / History and evolution of the data analysis infrastructure supporting “Monster Strike” operations
mixi_engineers
PRO
3
310
【全貌公開】 MIXI の Atlassian Cloud 移行の裏側 / Behind MIXI's Migration to Atlassian Cloud
mixi_engineers
PRO
0
620
MIXI TECH NOTE #12
mixi_engineers
PRO
2
52
運営11年目タイトルを守る最強の盾の有効性と活用法
mixi_engineers
PRO
2
400
MIXI における技術広報とその役割
mixi_engineers
PRO
2
380
Other Decks in Technology
See All in Technology
Engineering Managementのグローバルトレンド #emoasis / Engineering Management Global Trend
kyonmm
PRO
6
980
日本MySQLユーザ会ができるまで / making MyNA
tmtms
1
350
バックエンドエンジニアによるフロントエンドテスト拡充の具体的手法
kinosuke01
1
630
Restarting_SRE_Road_to_SRENext_.pdf
_awache
0
150
Redefine_Possible
upsider_tech
0
240
Keynote - KCD Brazil - Platform Engineering on K8s (portuguese)
salaboy
0
120
Road to SRE NEXT@仙台 IVRyの組織の形とSLO運用の現状
abnoumaru
0
380
ソフトウェア開発現代史: なぜ日本のソフトウェア開発は「滝」なのか?製造業の成功体験とのギャップ #jassttokyo
takabow
2
1.5k
PHPでアクターモデルを活用したSagaパターンの実践法 / php-saga-pattern-with-actor-model
ytake
0
1k
技術好きなエンジニアが _リーダーへの進化_ によって得たものと失ったもの / The Gains and Losses of a Tech-Enthusiast Engineer’s “Evolution into Leadership”
kaminashi
0
200
Compose MultiplatformにおけるiOSネイティブ実装のベストプラクティス
enomotok
1
210
ドメインイベントを活用したPHPコードのリファクタリング
kajitack
2
1.1k
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
How STYLIGHT went responsive
nonsquared
99
5.4k
Agile that works and the tools we love
rasmusluckow
328
21k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Automating Front-end Workflow
addyosmani
1369
200k
RailsConf 2023
tenderlove
29
1k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
Designing Experiences People Love
moore
141
23k
4 Signs Your Business is Dying
shpigford
183
22k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
28
2k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
Transcript
1 ©MIXI 「⼈物ごとのアルバム」の精度改善の軌跡 エンジニアが語る プロダクトへの AI / ML 導⼊‧活⽤事例 2025/1/15
登壇資料 @kittchy
2 ©MIXI ⾃⼰紹介
©MIXI 3 ⽊内 貴浩 / きのうち たかひろ / kittchy 株式会社MIXI
Vantageスタジオ みてねプロダクト開発部 Data Engineeringグループ ⾃⼰紹介 2024年3⽉: 豊橋技術科学⼤学で⾳声認識の研究で修⼠号取得 2024年3⽉: ⾳声処理のスタートアップ/ML系受託開発会社で ⾳声処理MLモデル開発やMLOps業務 2024年4⽉: 株式会社MIXI新卒⼊社 2024年5⽉: みてねプロダクト開発部 Data Engineering Group に配属
©MIXI 4 家族アルバム みてねはスマホで撮った⼦どもの写真や動画を家族と共有し、 コミュニケーションして楽しむ家族アルバムサービスです。 家族アルバム みてねについて
©MIXI 5 本⽇話す内容 「⼈物ごとのアルバム」について • 「⼈物ごとのアルバム」とは? • 顔分類の⼿法 「⼈物ごとのアルバム」の改善 •
半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化 改善の結果
6 ©MIXI 「⼈物ごとのアルバム」について
©MIXI 7 「⼈物ごとのアルバム」とは? みてねにアップロードされた 写 真 や 動 画 を
プログラムで 判 別 し、お ⼦ さまの 顔 ごとに ⾃動分類する機能 できること 1. まとまりでアルバムを表⽰ • お⼦さま個⼈ • ⼦どもたち(兄弟や姉妹 ) • 家族みんな 2. ⽉齢ごとに成⻑メモを残すことで、 簡単に成⻑を振り返ることができる
©MIXI 8 顔分類の⼿法 詳細「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」 顔の経年変化の影響で 特徴量も変わってしまう ため、一定期間ごとに 区切ってクラスタリング
©MIXI 9 顔分類の⼿法 1月 2月 3月 4月 5月 顔特徴量 顔特徴量
顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 お子様A お子様B お子様A お子様B お子様A お子様B 同じクラスタにお子様を紐づけ 前の期間のセントロイド に近い クラスタのセントロイド を 計算し、クラスタを紐づける お子様の成長による顔の変化を 考慮して最大 2ヶ月以内の期間に 区切って処理 ご家族のアップロードした画像の撮影日 初回のみ年齢推定結果などを用いて クラスタとお子様と紐づけ お子様とクラスタを紐づける「名 寄せ」処理が走る
10 ©MIXI ⼈物ごとのアルバムの 課題 / 改善
©MIXI 11 • 半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化
⼈物ごとのアルバムの課題 / 解決策
©MIXI 12 半教師ありクラスタリングについて 課題 期間ごとにデータの偏りが発⽣することがわかり、セントロイドによる紐づけが失敗してしまう問題が発覚 - 期間内に撮影した写真に、特定のお⼦様の写真が少ない - 横顔やマスクの顔ばかり -
クラスタの位置が⼤きくズレる 改善 - セントロイドによる紐づけから、半教師ありクラスタリングに変更 - 過去の分類済みのクラスタリング結果(クラスタID)を正として擬似教師ラベルとして活⽤ - 半教師にする特徴量は、お⼦様を優先して、過去3ヶ⽉以内の顔からN個取得 半教師 半教師 詳細:「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」
©MIXI 13 制約付きクラスタリング 課題 双⼦のお⼦様や顔のよく似たお⼦様の場合、同じクラスタに属してしまう問題が発覚 クラスタリングのハイパラを⼿動調整すれば分類可能だが、すべてのご家族に⼿動対応するのは不可能 改善 「制約付きクラスタリング」として、同⼀写真に写っている顔は同じクラスタに属さないという 制約を設けて、お⼦様のクラスタが分裂するようにした 双子が同時に写った写真
Cannot-link お子様A お子様B ママ Cannot-link
©MIXI 14 名寄せの⼯夫 課題 名寄せが実⾏される条件は以下のとおり • ⼈物ごとのアルバムが新たに作成される時(プレミアム⼊会時) • お⼦様が⽣まれた時 ⼀⽅、それ以外はすべて過去のクラスタとの紐づけ処理によってお⼦様のアルバムを更新していく
クラスタの紐づけが⼀定期間以上失敗した場合、お⼦様のアルバムの更新が⽌まってしまう 改善 ひも付きが途切れたお⼦様を⾃動で再度紐づける「再名寄せ処理」を導⼊ ※ 3ヶ⽉以上途切れているご家族のみ対象 例)お⼦様が2⼈以上いるご家族の場合 お⼦様1⼈に対して 推定年齢、顔の数を⽤いて 再度⾃動名寄せ お子様A お子様B その他 みんな お子様A お子様B その他 みんな
©MIXI 15 初回クラスタリングの最適化 課題 初回クラスタリング対象になる期間は、「⼈物ごとのアルバム」新規作成時(プレミアム⼊会)の直近の期間 例:2025/1/15にプレミアム⼊会の場合、2024/12~2025/1のメディア クラスタリングが難しい期間で初回クラスタリングが⾛った場合、失敗しがち。 - 他のお⼦様の顔が多い期間:運動会、お正⽉、イベントなど -
お⼦様の顔が写った写真が少ない期間 改善 お⼦様が⽣まれている全期間でクラスタリングしやすい期間を探し、初回クラスタリング対象期間とする - 顔が多く検出された期間 - 写真1枚あたりの、顔の数が少ない期間 これにより、難しい期間を避けて、お⼦様のお顔単体でたくさん写っている期間が選ばれる
©MIXI 16 その他の改善 顔特徴量抽出モデルのUpgrade 海外のご家族に対しての顔分類精度の向上 顔分析MLモデルのUpgrade 顔の検出、年齢推定、顔の向き推定などの精度を向上させることで、名寄せ処理の精度が向上 すでに壊れているご家族の⼈物ごとのアルバムを強制リセット お⼦様のアルバムが作成されてないなどの「アルバムが壊れた家族」を対象に⼈物ごとのアルバムを強制し、作 り直す対応
17 ©MIXI 改善結果
©MIXI 18 ひも付き率:毎⽇のクラスタリングのうち、過去のクラスタからお⼦様が紐づいて作成された割合 (グラフは世界全体のご家族の⼈物ごとのアルバムのひも付き率を⽰す) 2022年から⽐較すると、約15〜20 pts 改善 改善結果 条件付き クラスタリング導入
半教師顔の数を増やす 半教師あり クラスタリング 初回クラスタリングの 最適化 再名寄せ機能の 全家族導入
19 ©MIXI Data Engineering Groupについて
©MIXI 20 グループのミッション AI/MLとデータを活かし、「世界⼀愛されるサービス」 と「圧倒的収益」の実現を加速させる 主な業務 • みてねが提供する商材のレコメンド • 画像解析パイプラインの整備
• みてねに組み込むML技術の研究開発 募集中の職種 • (iOS/Android/Ruby on Rails)エンジニア Data Engineering Groupについて エンジニア 採用 グループ 紹介
21 ©MIXI