Upgrade to Pro — share decks privately, control downloads, hide ads and more …

直感的に理解するConformal Prediction

Avatar for masatoto masatoto
February 27, 2023

直感的に理解するConformal Prediction

Avatar for masatoto

masatoto

February 27, 2023
Tweet

More Decks by masatoto

Other Decks in Research

Transcript

  1. Conformal Prediction がどうやら⼈気がではじめた n Conformal Prediction の実装本(2023/2⽉発売) n 素晴らしい⼊⾨資料(2022/12⽉更新) n

    Scikit-learnライクなライブラリMAPIE n 最新論⽂や動画などまとまったリポジトリ公開 本︓https://leanpub.com/conformal-prediction/c/zFAwIlcHZhk0 論⽂︓https://arxiv.org/abs/2107.07511 リポジトリ︓https://github.com/valeman/awesome-conformal-prediction
  2. よくないCPアルゴリズムの例 予測集合サイズ ✖ 常に全クラスを返す 精度は100%だが分類できていない ✖ 集合サイズが⼊⼒によらない サイズ1がないと分類の判断が全て⼈間になる 予測集合サイズ サンプル数

    1 2 3 4 5 6 1 2 3 4 5 6 n CPアルゴリズムの良し悪しは、テストデータの予測集合の⼤きさと精度で評価する。 500 1000 CPアルゴリズムの悪い結果 サンプル数 予測集合の例 {A, B, D} 予測集合の例 {A, B, C, D, E, F}
  3. 1. 医療診断AIで確率90%で当ててほしいとアプリ提供者が医者と決める。 ü User-chosen error rate︓エラー率10%と決める 2. Conformal Predictionを実⾏する。 ü

    あとで説明する。 3. テストデータセットに対し、確率90%のカバレッジが保証できる。 ü Coverage guarantee :100名のうち9割は当たっても、次の100名では8割であることもある。 4. ユーザーは病名候補を複数受け取る。 5. ユーザーは病名候補が多い場合はAIが⾃信がないと分かる。病名1つの場合はすぐ医者に⾏く⽅がいい。 ※モデルが貧弱の場合、低いエラー率を指定すると全ての病名が予測集合に含まれ診断の意味がない。 直感的なCPの利⽤イメージ︓医療診断
  4. n 特徴で差別を⽣まないようにグループレベルで保証した分類 n 不均衡データ向けクラスレベルごとに保証した分類 n 回帰、分位点回帰 n マルチラベル分類 n 外れ値検知

    n 時系列予測 (研究🔥) n クロスバリデーションCP、ジャックナイフCP Conformal Prediction で対応しているタスク 特徴ごとに保証 全体で保証 回帰 分位点回帰 予測集合 予測値 Conformal Predic8on
  5. 1. top 1の確信度を予測とすると精度は76.4% (全テストサンプル) 2. top 1の確信度が95%以上となるサンプル集合の精度は91.5% (部分テストサンプル) ⽐較実験してみた 7クラスのDryBeanDatasetでGaussianNBを利⽤。

    訓練1万件、評価1000件、テスト1611件 クラス 確信度 [1] 全サンプル確信度最⼤値のみで評価 A B C D 予測例: A 確信度 カウント 0.6 0.7 0.8 0.95 [2] 確信度0.95以上のみで評価 精度が95%を下回っている。
  6. 1. top 1の確信度を予測とすると精度は76.4% (全テストサンプル) 2. top 1の確信度が95%以上となるサンプル集合の精度は91.5% (部分テストサンプル) 3. 確信度⾼い順の累積和が0.95以上となる最⼩の予測集合に対する精度は90.3%

    (全テストサンプル) ⽐較実験してみた 7クラスのDryBeanDatasetでGaussianNBを利⽤。 訓練1万件、評価1000件、テスト1611件 クラス 確信度 [1] 全サンプル確信度最⼤値のみで評価 クラス 累積確信度 0.95 A B C D A B C D 予測例: {A, B} 予測例: A [3] 全サンプル確信度累積で評価 確信度 カウント 0.6 0.7 0.8 0.95 [2] 確信度0.95以上のみで評価 確信度から予測集合をもとめたが、やはり95%を⼤きく下回った。
  7. 1. top 1の確信度を予測とすると精度は76.4% (全テストサンプル) 2. top 1の確信度が95%以上となるサンプル集合の精度は91.5% (部分テストサンプル) 3. 確信度⾼い順の累積和が0.95以上となる最⼩の予測集合に対する精度は90.3%

    (全テストサンプル) 4. CP法でエラー率を0.05に指定したときの予測集合の精度は96.3% (全テストサンプル) ⽐較実験してみた 7クラスのDryBeanDatasetでGaussianNBを利⽤。 訓練1万件、評価1000件、テスト1611件 クラス 確信度 [1] 全サンプル確信度最⼤値のみで評価 クラス 累積確信度 0.95 A B C D A B C D 予測例: {A, B} 予測例: A [3] 全サンプル確信度累積で評価 確信度 カウント 0.6 0.7 0.8 0.95 [2] 確信度0.95以上のみで評価 CP法が唯⼀、精度95%以上を確率的に保てた。 ( Coverage guarantee )
  8. 1. データセットを訓練、キャリブレーション、テストに分ける。 2. Conformal score を定義する。 Ø Conformal score が⼩さいほど予測しやすく、値が⼤きいほど難しいことが望ましい。

    Ø カスタマイズ可能な部分。予測分散、確信度など 3. キャリブレーションデータの正解クラスのscoreが全体の 1-α となる分位点 を求める。 3ステップ⽬︓閾値を求める Conformal score Certain Uncertain 1 - α α サンプル数
  9. 1. データセットを訓練、キャリブレーション、テストに分ける。 2. Conformal score を定義する。 Ø Conformal score が⼩さいほど予測しやすく、値が⼤きいほど難しいことが望ましい。

    Ø カスタマイズ可能な部分。予測分散、確信度など 3. キャリブレーションデータの正解クラスのscoreが全体の 1-α となる分位点 を求める。 4. テストサンプルに対し、分位点 より⼤きい予測を集合で返す。 4ステップ⽬︓予測集合を返す Certain Uncertain 1 - α α ⽝ 猫 パンダ { ⽝, パンダ } 予測集合
  10. n Introduction To Conformal Prediction With Python, Christoph Molnar Ø

    https://leanpub.com/conformal-prediction/c/zFAwIlcHZhk0 n A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification Ø https://arxiv.org/abs/2107.07511 n Awesome Conformal Prediction Ø https://github.com/valeman/awesome-conformal-prediction n Probabilistic Machine Learning Advanced Topics , Kevin P. Murphy Ø 14.3 Conformal prediction Ø https://probml.github.io/pml-book/book2.html 参考⽂献