Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実用 Confident Learning
Search
Asei Sugiyama
October 13, 2022
Technology
1
2.8k
実用 Confident Learning
みんなのPython勉強会#86 での発表資料です
https://speakerdeck.com/asei/confident-learning
よりも事例の紹介に注力しています
Asei Sugiyama
October 13, 2022
Tweet
Share
More Decks by Asei Sugiyama
See All by Asei Sugiyama
生成AIの活用パターンと継続的評価
asei
2
13
最近の Citadel AI の取り組みのご紹介 (Nov, 2024)
asei
2
24
仕事で取り組む 生成 AI 時代の対話の品質評価
asei
2
23
MLOps の処方箋ができるまで
asei
3
400
LLM を現場で評価する
asei
5
870
生成 AI の評価方法
asei
8
1.8k
対話品質の評価に向き合う
asei
4
390
Kubeflow Pipelines v2 で変わる機械学習パイプライン開発
asei
6
1.2k
遊戯王 AI は次世代のグランドチャレンジになりうるか
asei
1
360
Other Decks in Technology
See All in Technology
エンジニア向け会社紹介資料
caddi_eng
14
270k
組織デバイスのための効率的なアプリケーション更新戦略
kenchan0130
0
450
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
270
Rist_Meetup_Kaggleは業務の役にたつ - ビジネスコンテンツ情報を活用する BtoB 事業編 - / rist-meetup-20241012
taro_masuda
0
260
Amplify Gen 2ではじめる 生成AIアプリ開発入門
tsukuboshi
0
390
データ分析基盤のためにS3を深堀りする~アーキテクチャ設計の考え方のヒントに~
nrinetcom
PRO
1
740
テストを楽に書きたい
tomorrowkey
2
260
Oracle Cloud Infrastructure:2024年10月度サービス・アップデート
oracle4engineer
PRO
0
140
まだ間に合う! 生成AIトレンド一挙おさらい & AWSのBedrockに入門しよう
minorun365
PRO
4
140
20241015 Toranomon Tech Hub#1 Service Catalog使ってみた
hiashisan
0
210
フェンリルの SwiftUI の研修を覗いてみる / Fenrir SwiftUI Training
studio_rookery
0
130
複数の外部サービスデータの統合と変換を実現する Railsのインポートアーキテクチャ / Rails import architecture for integration and transformation of multiple external service data
aiandrox
0
190
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Gamification - CAS2011
davidbonilla
80
5k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Side Projects
sachag
452
42k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Bash Introduction
62gerente
608
210k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
37
1.7k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
41
9.2k
GraphQLとの向き合い方2022年版
quramy
43
13k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Transcript
Confident Learning Asei Sugiyama
TOC Data-centric AI 振り返り <- Confident Learning 概要 実践 Confident
Learning
Data-centric AI 振り返り Data-centric AI Confident Learning Data Perf
Data-centric AI データの改善に着目したム ーブメント モデルよりもデータの改善 のほうが効果的という Andrew Ng の過去の経験に 基づく
2021 年 12 月に大きなワー クショップが行われた
Confident Learning ワークショップの中で紹介 された取り組みの 1 つ データセットに含まれるラ ベルの誤りを検出 詳細は後述
Data Perf ML Perf: 機械学習アルゴリ ズムのベンチマーク Data Perf: データセットのベ ンチマーク
いずれはアルゴリズム - テ スト - データセットをすべ てインクリメンタルに改善 するフレームワークを提供 するという野心的な提案
TOC Data-centric AI 振り返り Confident Learning 概要 <- 実践 Confident
Learning
Confident Learning 概要 背景 論文の内容 手法 結果 Pervasive Label Errors
in Test Sets Destabilize Machine Learning Benchmarks https://arxiv.org/abs/2103.14749
背景 Hinton が MNIST (LeCun が作成) の 誤り 1 件を見つけて喜んでいるのを
見ていた 「こんなに有名な人がこんなに喜ん でいるのならこれは価値があるので は」と思ったのがきっかけ Cleanlab: Labeled Datasets that Correct Themselves Automatically // Curtis Northcutt // MLOps Coffee Sessions #105 https://anchor.fm/mlops/episodes/Cleanlab-Labeled- Datasets-that-Correct-Themselves-Automatically--Curtis-Northcutt--MLOps-Coffee- Sessions-105-e1k777l/a-a850eq6
論文の内容 Confident Learning という 手法を提案 多クラス分類において、既 存の手法よりも効率的にラ ベルの誤りを発見 MNIST, ImageNet
などのデ ータセットにラベルの誤り を実際に発見した Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks https://arxiv.org/abs/2103.14749
手法 データセットを用いてモデ ルを訓練 & 推論 (k-fold) 推論結果に Confident Learning を適用し、誤りが
疑われるデータの一覧を作 成 Amazon Mechanical Turk で改めてアノテーション Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks https://arxiv.org/abs/2103.14749
結果: データセットの誤り率 Pervasive Label Errors in Test Sets Destabilize Machine
Learning Benchmarks https://arxiv.org/abs/2103.14749
結果: 提案のワークフローで発生する見逃し Pervasive Label Errors in Test Sets Destabilize Machine
Learning Benchmarks https://arxiv.org/abs/2103.14749
どうしようもない例 右の画像は ImageNet で tick (ダニ) とラベル付けされたもの クラウドソーシングで scorpion とラ
ベルが振り直された 実際は Solifugae (ヒヨケムシ、クモ やサソリではない)
TOC Data-centric AI 振り返り Confident Learning 概要 実践 Confident Learning
<-
背景 画像から疾病の陽性/陰性を判定する機械学習モデルを構築中 陽性/陰性の判定には高い専門性が必要なため、少数の専門家 (医療業務 従事者) が画像をアノテーション 構築したデータセットをもとに画像から陽性/陰性を判定するモデルを構 築 テストデータにおいてモデルが誤った画像について、専門家に念のため の再確認したところ、機械学習モデルの判断のほうが正しかったという
結果に
問題 構築した画像データセットに誤りがどの程度含まれているのか不明 データセットに含まれる画像が 4,000 件あり、今後も増える予定 専門家が全件チェックするのは現実的でないし、全件チェックした結果 を信用してよいのかどうかも不明
目標 1. アノテーションの結果がどの程度信用できるのか見積もること 2. データセットに含まれる誤りを効率的に修正するための手法を確立する こと
Clean Lab Confident Learning の OSS 実装 Python から利用可能 cleanlab/cleanlab
https://github.com/cleanlab/cleanlab
コード アルゴリズムはモデルの出力のみを用いるため、幅広い分類モデルを利 用可能 from cleanlab.filter import find_label_issues ordered_label_issues = find_label_issues(
labels=labels, pred_probs=pred_probs, return_indices_ranked_by='self_confidence', )
結果 画像 4000 枚から40件の誤りを特定、修正できた 種別 枚数 割合 全画像 4000 枚
100% Confident Learning により抽出した画像 250 枚 6.25% 再レビューの結果、陽性/陰性が修正された件数 40 枚 1%
考察 アノテーションの誤りは概ね正しく抽出できていると思われる 今回のデータセットにおいて検出できた誤りは 1% 程度 これは公開されている品質の高いデータセットとほとんど同じ アノテーションの誤りを効率的に修正する手法は確立できた レビュー対象を 4,000 枚から
250 枚 (6%) に集約できた 見逃しもあると思われるため、データの収集と修正を繰り返し実施する 必要性も明らかになった
まとめ Confident Learning はラベルの誤りを発見することでデータの品質向上 に取り組むアルゴリズム ImageNet などのデータセットに対してアルゴリズムを適用することで 実際に誤りを発見 アルゴリズムを実際のデータセットに適用してみたところ、誤りを発見 し、修正できた