Studies on Explainable Machine Learning Based on Integer Linear Optimization (整数計画法に基づく説明可能な機械学習)

2022/01/24
北海道大学 大学院情報科学院 博士後期課程 公開論文説明会

学位論文タイトル：
Studies on Explainable Machine Learning Based on Integer Linear Optimization
(整数計画法に基づく説明可能な機械学習)
https://doi.org/10.14943/doctoral.k15071

概要：
深層学習に代表される機械学習技術の発展により，機械学習アルゴリズムで学習された予測モデル（機械学習モデル）が，医療や金融，司法などといった実社会の意思決定に活用されつつある．このような重要な意思決定タスクでは，機械学習モデルの予測に基づく意思決定結果が，人間の生活に大きな影響を与える可能性がある．したがって，機械学習モデルの予測精度だけでなく，公平性や説明責任，透明性などといった，信頼性（trustworthiness）を向上させるための技術の需要が高まっている．信頼性を向上させるための鍵として，機械学習モデルの予測根拠や判断基準を人間が理解可能な形式で提示できる説明可能性（explainability）の実現が特に重要視されており，説明可能な機械学習（explainable machine learning）に関する研究が注目を集めている．

　説明可能性を実現するための研究には，大きく分けて，（1）モデルの予測結果から局所的な説明を抽出するアプローチと，（2）大域的に解釈可能なモデルを学習するアプローチの二つが存在する．いずれのアプローチにおいても，多くの手法がそのタスクを最適化問題として定式化することで説明可能性の実現を数理モデル化することを試みており，これまでに様々な説明手法とその最適化問題が提案されてきた．本研究では，各アプローチにおける主要手法である反実仮想説明法（counterfactual explanation, CE）と決定木（decision tree）に着目する．CE は，モデルから所望の予測結果を得るための摂動ベクトルを「アクション」として提示する説明手法であり，決定木は，if-then-else 形式の予測ルールを二分木で表現した解釈可能なモデルである．これらの手法は，人間がモデルの予測結果を理解し，そこからより良い知見を得るための助けとなることが期待されるため，理論と応用の両面で近年活発に研究が行われている．

　しかし，現状の説明手法にはいくつかの実用上の課題が存在する．一つ目の課題は，説明の妥当性である．例えば，CE によって提示される摂動ベクトルは，所望の予測結果を得るためのアクションとして解釈されるが，従来の CE 手法では，特徴量間の相関関係や外れ値リスク，因果効果などといった予測タスク特有の性質を十分に考慮できないため，ユーザが実際に実行できる実用的なアクションを提示できないことが多い．二つ目の課題は，説明の安定性である．決定木に代表される解釈可能なモデルは，モデル自体が予測結果の説明を提示することができるが，データの変化や公平性の実用上の追加制約により，モデルが提示する説明が運用中に大きく変化するため，信頼性の問題が生じることがある．これらの課題を解決するためには，説明が満たすべき要求を実用上の課題から明示的に特定し，その要求を達成するための最適化問題を適切に定式化することが不可欠だが，具体的に，（i）それぞれの説明手法で提示される説明がどのような要求を満たすべきかと，（ii）その要求を適切な目的関数や制約式として数学的に表現する方法，および（iii）定式化された最適化問題に対する柔軟かつ効率良い解法の設計方法は，まだ十分に解明されておらず，説明可能な機械学習における重要な課題となっている．

　本研究の目的は，実用的な説明を提示する説明可能な機械学習の新しいフレームワークの設計方法を明らかにすることである．そのために，CE や決定木の課題について実用性の観点から議論を行い，説明が満たすべきいくつかの要求を特定する．特定した要求を数学的に表現するための適切な目的関数と制約式を導入することで，CE と決定木の実用性を向上させるための新たな最適化問題を定式化する．さらに，定式化した最適化問題に対して，混合整数線形計画法（mixed-integer linear optimization, MILO）に基づく柔軟かつ効率良い解法を提案する．

　まず第4章では，CE において，元の予測タスクのデータ分布を考慮することで実現可能なアクションを提示する方法について議論する．具体的には，データ分布の特性として，特徴量間の相関関係と外れ値指標を考慮してアクションのコストを評価することで，ユーザにとって現実的なアクションを提示する新たな CE のフレームワーク（distribution-aware counterfactual explanation, DACE）を提案する．このために，統計学分野で広く用いられている距離関数であるマハラノビス距離と外れ値指標である局所外れ値因子に基づく新たなコスト関数を導入する．さらに，導入したコスト関数に対して，それを近似する代理関数を設計することで，MILO に基づく効率良い最適化方法を提案する．

　次に第5章では，アクションの実現可能性を向上させるための補助情報として，アクションの適切な実行順序を提示する方法について議論する．従来の CE 手法は，アクションとして特徴量の変更方法を示す摂動ベクトルのみを提示する．しかし，特徴量間には因果効果などの相互作用が存在するため，アクションの実行コストは実際には各特徴量の変更順序にも依存する．そこで，アクションとその特徴量の適切な変更順序を同時に提示する新たな CE のフレームワーク（ordered counterfactual explanation, OrdCE）を提案する．このために，事前に推定した因果DAGに基づいて特徴量の変更順序を評価するコスト関数を新たに導入し，アクションとその変更順序を同時に最適化する問題を定式化する．定式化した最適化問題に対して，MILO に基づく解法を提案する．

　最後に第6章では，決定木に対して，その予測と解釈を維持したまま所与の制約を満たすように修正する新たな学習問題について議論する．とくに，機械学習分野において近年重要視されている性質である公平性に着目し，学習済みの決定木の予測と解釈を維持しつつ公平性制約が満たされるように編集するフレームワーク（fairness-aware decision tree editing, FADE）を提案する．このために，予測多重性と根付き順序木の編集距離に基づく決定木間の非類似度指標をそれぞれ導入し，それらの指標を公平性制約のもとで最小化する最適化問題として決定木編集問題を定式化する．さらに，定式化した最適化問題に対して，MILO に基づく解法を提案する．

　本研究を通して，機械学習の説明可能性を実現するための新しい最適化問題について考察し，混合整数線形計画法に基づく解法を開発してきた．説明可能性は，機械学習技術の実社会意思決定タスクへの応用において必要不可欠な要素であり，その実現には，最適化問題としての適切な数理モデル化とそれらに対する柔軟かつ効率良い解法の設計が鍵となる．本研究の成果は，説明可能性を実現するための新たな方法を提案するものであり，産業・学術の分野を問わず，機械学習技術の実社会応用における多様な活動の推進に貢献するものである．

Transcript

1. 2022/01/24 ެ։࿦จઆ໌ձ ۚ৿ ݑଠ࿕ 1 Studies on Explainable Machine Learning Based on Integer Linear Optimization ʢ੔਺ܭը๏ʹجͮ͘આ໌Մೳͳػցֶशʣ ۚ৿ ݑଠ࿕ʢKentaro KANAMORIʣ ๺ւಓେֶ େֶӃ৘ใՊֶӃ ৘ใՊֶઐ߈ ৘ใཧ޻ֶίʔε ৘ใ஌ࣝωοτϫʔΫݚڀࣨ ത࢜ޙظ՝ఔ2೥
2. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ എܠ: ػցֶशͷઆ໌Մೳੑ 2 • ػցֶशϞσϧ͕࣮ࣾձͷҙࢥܾఆʹԠ༻͞Ε͍ͯΔ • ࣬පϦεΫ༧ଌ (ҩྍ), ༩৴ϦεΫ༧ଌ (ۚ༥), ࠶൜ϦεΫ༧ଌ (࢘๏) • ػցֶशϞσϧͷ༧ଌ݁Ռʹؔ͢Δઆ໌ΛఏࣔͰ͖Δ આ໌Մೳੑ (explainability) ͷ࣮ݱ͸ॏཁͳ՝୊Ͱ͋Δ • ࣾձతཁ੥: GDPR (EU 2018), ਓؒத৺ͷAIࣾձݪଇ (಺ֳ෎ 2019), … આ໌Մೳੑͷ࣮ݱ͸, ػցֶशͷ৴པੑ޲্΁ͷୈҰา આ໌Մೳੑ ࣮ݱ ػցֶशϞσϧ (ྫ: ਂ૚ֶशϞσϧ) ౶೘පϦεΫ͕ߴ͍Ͱ͢ ༧ଌ Ͳ͏ͯ͠ʁ ৴པੑ௿Լ ౶೘පϦεΫ͕ߴ͍Ͱ͢ ࠜڌ͸BMIͰ͢ ༧ଌ & આ໌ આ໌Մೳͳ ػցֶशϞσϧ ͳΔ΄Ͳʂ ৴པੑ޲্
3. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ઌߦݚڀ: આ໌Մೳͳػցֶश 3 • ओཁΞϓϩʔν: ہॴઆ໌๏ɾղऍՄೳͳϞσϧͷֶश • ۙ೥, ैདྷख๏ͷ࣮༻্ͷ՝୊͕໌Β͔ʹͳΓͭͭ͋Δ ‣ ࣮ࡍͷҙࢥܾఆ΁ͷద༻ʹ͸, ͜ΕΒͷ՝୊ͷղܾ͕ෆՄܽ [Rudin 19] આ໌Մೳͳػցֶशͷઌߦݚڀʹ͸ҎԼͷΞϓϩʔν͕͋Δ 2015೥Ҏલ 2018೥ 2019೥ 2020೥ 2021೥ LIME [Ribeiro+ 16] CE [Wachter+ 18] ہॴઆ໌๏ OCT [Bertsimas+ 17] OFDT [Aghaei+ 19] ղऍՄೳͳϞσϧͷֶश આ໌ख๏ͷ։ൃ ଥ౰ੑ [Laugel+ 19] ҆ఆੑ [Guidotti+ 19] ɾ ɾ ɾ આ໌ख๏ͷධՁ 2017೥ 2016೥ CART [Breiman+ 84] ౷ܭత ػցֶश ൃల ਂ૚ֶश΍ Ξϯαϯϒϧख๏ͷ ൃల ҙຯͷͳ͍આ໌͕ ఏࣔ͞ΕΔ [Rudin 19] C. Rudin: “Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead,” Nat. Mach. Intell., 2019. આ໌͕ෆඞཁʹ มԽ͢Δ
4. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ઌߦݚڀ: ہॴઆ໌๏ 4 Ϟσϧͷݸʑͷ༧ଌ݁Ռʹؔ͢Δઆ໌Λࣄޙతʹநग़ • ൓࣮Ծ૝આ໌๏ (counterfactual explanation, CE) • Ϟσϧͷ༧ଌ݁ՌΛॴ๬ͷ݁Ռʹม͑Δ ಛ௃ྔͷมߋํ๏ (ΞΫγϣϯ) Λఏࣔ • ୈҰੈ୅: ࠷ۙ๣ܕCE [Wachter+ 18] • ୈೋੈ୅: ࣮ߦੑߟྀܕCE [Ustun+ 19] • ୈࡾੈ୅: ҼՌؔ܎ߟྀܕCE [Karimi+ 20] • ՝୊: ΞΫγϣϯͷ࣮ݱՄೳੑ • σʔλ෼෍ͷੑ࣭Λߟྀͯ͠ΞΫγϣϯͷݱ࣮ੑΛධՁͰ͖ͳ͍ • ಛ௃ྔͷมߋॱংʹର͢ΔҼՌޮՌͷӨڹΛߟྀͰ͖ͳ͍ ‣ Ϣʔβʹͱ࣮ͬͯݱෆՄೳͳΞΫγϣϯ͕ఏࣔ͞ΕΔ BMI ݂౶஋ x x + a* ΞΫγϣϯ a* • : ౶೘පϦεΫߴ • : ౶೘පϦεΫ௿ ຊݚڀ [Wachter+, 18] S. Wachter et al.: “Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR,” Harv. J. Law&Tech., 2018. [Ustun+ 19] B. Ustun et al.: “Actionable Recourse in Linear Classification,” FAT*, 2019. [Karimi+ 20] A. H. Karimi et al.: “Algorithmic recourse under imperfect causal knowledge: a probabilistic approach,” NeurIPS, 2020. ଥ౰ੑ
5. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ઌߦݚڀ: ղऍՄೳͳϞσϧͷֶश 5 ༧ଌࠜڌΛਓ͕ؒཧղ͠΍͍͢ղऍՄೳͳϞσϧΛֶश • ܾఆ໦ (decision tree) • “if-then-else” ܗࣜͷ༧ଌϧʔϧΛ ೋ෼໦Ͱදݱͨ͠ղऍՄೳͳϞσϧ • ୈҰੈ୅: ᩦཉܕܾఆ໦ֶश [Breiman+ 84] • ୈೋੈ୅: ࠷దܾఆ໦ֶश [Bertsimas+ 17] • ୈࡾੈ୅: ެฏੑ഑ྀܕֶश [Aghaei+ 19] • ՝୊: ղऍͷଟॏੑ (“ཏੜ໳ޮՌ” [Breiman 01]) • Ϟσϧӡ༻தͷ࠶ֶशʹΑΓ, Ϟσϧͷղऍ͕ඞཁҎ্ʹมԽ͢Δ ‣ Ϟσϧ͕ఏࣔ͢Δઆ໌ͷ৴པੑ͕ଛͳΘΕΔ :FT /P :FT /P ݂౶஋ ≤ 127 #.* ≤ 29.5 ݈߁ ౶೘ප ݈߁ Ϟσϧࣗମ͕ ༧ଌ݁Ռͷઆ໌Λ ఏࣔͰ͖Δ [Breiman+ 84] L. Breiman et al.: “Classification and Regression Trees,” Wadsworth Publishing Company, 1984. [Bertsimas+ 17] D. Bertsimas and J. Dunn: “Optimal classification trees,” Mach. Learn., 2017. [Aghaei+ 19] S. Aghaei et al.: “Learning Optimal and Fair Decision Trees for Non-Discriminative Decision-Making,” AAAI, 2019. [Breiman 01] L. Breiman: “Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author),” Stat. Sci., 2001. ҆ఆੑ ຊݚڀ
6. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ຊݚڀͷ໨ඪ 6 આ໌͕ຬͨ͢΂͖ཁ݅ΛఆࣜԽ͠, ࣮ݱํ๏Λ໌Β͔ʹ͢Δ • ैདྷͷઆ໌ख๏ʹ͓͚Δ࣮༻্ͷ՝୊Λղܾ͢Δʹ͸, ҎԼΛݚڀ͢Δ͜ͱ͕ඞཁͰ͋Δ: 1. ՝୊ղܾͷͨΊʹઆ໌͕ຬͨ͢΂͖ཁ݅ (desiderata) ͸Կ͔ʁ 2. ͦͷཁ݅͸ͲͷΑ͏ͳධՁࢦඪ΍੍໿৚݅ͱͯ͠දݱ͞ΕΔ͔ʁ 3. ͦͷཁ݅ͷ࣮ݱʹ͸ͲͷΑ͏ͳٕज़΍ΞϧΰϦζϜ͕ඞཁ͔ʁ • ͦ͜ͰຊݚڀͰ͸, ҎԼʹऔΓ૊Ή: • ैདྷख๏ͷ࣮༻্ͷ՝୊Λߟ࡯ͯ͠આ໌͕ຬͨ͢΂͖ཁ݅Λಉఆ͠, ͦͷཁ݅Λ࣮ݱ͢ΔͨΊͷλεΫΛ࠷దԽ໰୊ͱͯ͠ఆࣜԽ͢Δ • ಋೖͨ͠࠷దԽ໰୊ʹରͯ͠, ੔਺ܭը๏ʹجͮ͘ղ๏Λ։ൃ͢Δ ‣ “࣮༻తͳઆ໌” ͷ਺ཧϞσϧԽͱ, ͦͷ࠷దԽํ๏ͷ։ൃΛ໨ࢦ͢
7. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ຊݚڀͷٕज़తΞϓϩʔν 7 ࠞ߹੔਺ઢܗܭը๏ (MILO) ʹجͮ͘આ໌ख๏Λ։ൃ͢Δ • ࠞ߹੔਺ઢܗܭը๏ (mixed-integer linear optimization, MILO) • આ໌Մೳੑ࣮ݱͷͨΊͷ࠷దԽ໰୊ΛMILO໰୊ͱͯ͠ఆࣜԽ͢Δ: ར఺ 1. ੔਺ม਺Ͱඍ෼ෆՄೳͳ໨తؔ਺΍཭ࢄతͳ੍໿ΛදݱՄೳ ར఺ 2. ൚༻ιϧόʔ (ྫ: CPLEX) Ͱߴ଎ʹٻղՄೳ ‣ ଟ༷ͳධՁࢦඪ΍཭ࢄߏ଄ʹରԠͰ͖ΔͨΊ આ໌Մೳͳػցֶश෼໺Ͱ஫໨͞Ε͍ͯΔ • MILO໰୊ͷఆࣜԽํ๏͸ࣗ໌Ͱ͸ͳ͍ • ιϧόʔͷٻղ࣌ؒ͸ม਺ͱ੍໿ࣜͷ૯਺ʹґଘ ‣ ޮ཰ྑ͍ఆࣜԽํ๏Λ௥ٻ͢Δ minimizex∈{0,1}N×ℝM N+M ∑ n=1 cn xn subject to N+M ∑ n=1 ap,n xn ≥ bp (p = 1,…, P) [Bertsimas+ 17] ʹΑΔMILOʹجͮ͘ ܾఆ໦ֶशιϑτ΢ΣΞ https://www.interpretable.ai/products/optimal-trees/
8. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ຊֶҐ࿦จͷ੒Ռ 8 CEͱܾఆ໦ͷཁ݅ΛఆࣜԽ͠, MILOʹΑΔ࣮ݱํ๏Λ։ൃ • 4ষ: σʔλ෼෍Λߟྀͨ͠CE (DACE) ཁ݅: σʔλ෼෍ͷಛੑΛߟྀͯ͠ΞΫγϣϯͷݱ࣮ੑΛධՁ͢΂͖ ‣ ಛ௃ྔؒͷ૬ؔͱ֎Ε஋ϦεΫΛߟྀͨ͠৽͍͠CEख๏Λ։ൃͨ͠ • 5ষ: ಛ௃ྔͷมߋॱং΋ఏࣔ͢ΔCE (OrdCE) ཁ݅: ಛ௃ྔͷมߋํ๏͚ͩͰͳ͘, ద੾ͳมߋॱং΋ఏࣔ͢΂͖ ‣ ҼՌޮՌʹج͍ͮͯมߋॱংΛఏࣔ͢Δ৽͍͠CEͷ࿮૊ΈΛ։ൃͨ͠ • 6ষ: ެฏੑ੍໿ԼͰͷܾఆ໦ฤू๏ (FADE) ཁ݅: ࠶ֶश͢Δࡍ, Ϟσϧͷ༧ଌͱղऍ͸ඞཁͳ෦෼ͷΈमਖ਼͢΂͖ ‣ ࠷খݶͷฤूૢ࡞Ͱެฏੑ੍໿Λຬͨ͢Α͏ʹϞσϧΛमਖ਼͢Δ ܾఆ໦ͷ৽ֶ͍͠शख๏Λ։ൃͨ͠ ଥ౰ੑ ଥ౰ੑ ҆ఆੑ
9. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ຊֶҐ࿦จͷߏ੒ 9 MILOʹجͮ͘આ໌Մೳͳػցֶशͷ৽ͨͳख๏Λ։ൃͨ͠ • Chapter 1~3: ং࿦, ४උ, ઌߦݚڀͷαʔϕΠ • Chapter 4: Distribution-Aware Counterfactual Explanation • Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, and Hiroki Arimura: “Distribution-Aware Counterfactual Explanation by Mixed-Integer Linear Optimization,” Trans. on JSAI, vol. 36, no. 6, pages C-L44_1-12, 2021. • Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, and Hiroki Arimura: “DACE: Distribution- Aware Counterfactual Explanation by Mixed-Integer Linear Optimization,” In Proc. IJCAI 2020, pages 2855-2862, 2020. • Chapter 5: Ordered Counterfactual Explanation • Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, Yuichi Ike, Kento Uemura and Hiroki Arimura: “Ordered Counterfactual Explanation by Mixed-Integer Linear Optimization,” In Proc. AAAI 2021, pages 11564-11574, 2021. • Chapter 6: Fairness-Aware Decision Tree Editing • Kentaro Kanamori and Hiroki Arimura: “Fairness-Aware Decision Tree Editing Based on Mixed- Integer Linear Optimization,” Trans. on JSAI, vol. 36, no. 4, pages C-L13_1-10, 2021. • Chapter 7: ݁࿦
10. 2022/01/24 ެ։࿦จઆ໌ձ ۚ৿ ݑଠ࿕ 10 Distribution-Aware Counterfactual Explanation • Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, and Hiroki Arimura: “Distribution-Aware Counterfactual Explanation by Mixed-Integer Linear Optimization,” Transactions of the Japanese Society for Artificial Intelligence (JSAI), vol. 36, no. 6, pages C-L44_1-12, 2021. • Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, and Hiroki Arimura: “DACE: Distribution-Aware Counterfactual Explanation by Mixed-Integer Linear Optimization,” In Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI 2020), pages 2855-2862, 2020. Chapter 4
11. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ൓࣮Ծ૝આ໌๏ (Counterfactual Explanation, CE) 11 ॴ๬ͷ༧ଌ݁ՌΛಘΔͨΊͷ“ΞΫγϣϯ”Λઆ໌ͱͯ͠ఏࣔ • ैདྷͷہॴઆ໌๏ (ྫ: LIME [Ribeiro+ 16]) • Ϟσϧͷ༧ଌ݁Ռͷࠜڌͱͳͬͨಛ௃ྔΛఏࣔ • ൓࣮Ծ૝આ໌๏ (CE) [Wachter+ 18] • Ϟσϧ͔Βॴ๬ͷ༧ଌ݁ՌΛಘΔͨΊͷಛ௃ྔͷมߋํ๏Λఏࣔ ౶೘පϦεΫ͕ߴ͍Ͱ͢ ࠜڌ͸݂౶஋ͱBMIͱ೥ྸͰ͢ ༧ଌ & આ໌ XAI͘Μ Ϣʔβ Ϣʔβ ;ʔΜ… (݁ہɼͲ͏͢Ε͹ ݈߁ʹͳΕΔͷʁ) XAI͘Μ BMIΛ27.3·ͰݮΒͤ͹ ϦεΫ͕௿͍ͱ༧ଌ͞Ε·͢ CE (ΞΫγϣϯ) ‣ ༧ଌ݁Ռʹؔ͢Δ ΑΓݐઃతͳઆ໌ μΠΤοτ͢Ε͹͍͍ͷ͔ʂ [Ribeiro+, 16] M. T. Ribeiro et al.: ““Why Should I Trust You?”: Explaining the Predictions of Any Classifier,” KDD, 2016. [Wachter+, 18] S. Wachter et al.: “Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR,” Harv. J. Law&Tech., 2018.
12. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ઌߦݚڀ: ࣮ߦੑߟྀܕCE 12 Ϣʔβ͕࣮ߦͰ͖Δ࠷খίετͷΞΫγϣϯΛఏࣔ ೖྗ , Ϟσϧ , ॴ๬ͷϥϕϧ ʹରͯ͠, ҎԼͷ࠷దԽ໰୊ͷ࠷దղͱͳΔઁಈϕΫτϧ (ΞΫγϣϯ) ΛٻΊΔ: ͜͜Ͱ, ͸ΞΫγϣϯू߹, ͸ίετؔ਺. x ∈ 𝒳 f : 𝒳 → 𝒴 y* ∈ 𝒴 ( f(x) ≠ y*) a* a* = arg min a∈𝒜 C(a ∣ x) subject to f(x + a) = y* 𝒜 C: 𝒜 → ℝ≥0 ࣮ߦੑߟྀܕCE [Ustun+ 19] Ϣʔβ͕࣮ߦͰ͖Δ ΞΫγϣϯʹ੍໿ ΞΫγϣϯͷ ࣮ߦίετΛධՁ ࣮ࡍʹ࣮ߦͰ͖Δ ΞΫγϣϯΛఏࣔ ͢ΔͨΊͷ伴 • ैདྷख๏: Total-Log Percentile Shift (TLPS) [Ustun+ 19] CTLPS (a ∣ x) = D ∑ d=1 log ( 1 − Qd (xd + ad ) 1 − Qd (xd ) ) ࣄલʹਪఆͨ͠ྦྷੵ෼෍ؔ਺ Ͱ ΞΫγϣϯͷ࣮ߦίετΛධՁ Qd [Ustun+ 19] B. Ustun et al.: “Actionable Recourse in Linear Classification,” FAT*, 2019.
13. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ݚڀ໨ඪ 13 σʔλ෼෍ͷಛੑΛߟྀͨ͠ݱ࣮తͳΞΫγϣϯΛఏࣔ͢Δ • ैདྷख๏ʹ͸ҎԼͷ՝୊͕͋Δ: • طଘͷίετؔ਺ (ྫ: TLPS) Ͱ͸, ಛ௃ྔؒͷ૬ؔؔ܎ΛߟྀͰ͖ͳ͍ • ୯ͳΔίετ࠷খԽͰ͸, ΞΫγϣϯͷ࣮ߦ݁Ռ͕֎Ε஋ʹͳΔ ‣ σʔλ෼෍ͷಛੑΛे෼ߟྀͰ͖ͳ͍ͨΊ, ඇݱ࣮తͳΞΫγϣϯ͕ఏࣔ͞ΕΔ [Laugel+ 19] • ཁ݅: σʔλ෼෍ͷಛੑΛߟྀͯ͠ ΞΫγϣϯͷݱ࣮ੑΛධՁ͢΂͖ ໨ඪ 1. ಛ௃ྔؒͷ૬ؔͱ֎Ε஋ϦεΫΛߟྀͨ͠ίετؔ਺Λಋೖ͢Δ ໨ඪ 2. ಋೖͨ͠ίετؔ਺ʹରͯ͠MILOʹΑΔ࠷దԽํ๏ΛఏҊ͢Δ x + a x + a ਖ਼ৗ஋ ֎Ε஋ x ࣮ࡍͷ
    ίετେ ے೑ྔ ମॏ ࣮ࡍͷ
    ίετখ [Laugel+ 19] T. Laugel et al.: “The Dangers of Post-hoc Interpretability: Unjustified Counterfactual Explanations,” IJCAI, 2019.
14. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఏҊ: σʔλ෼෍Λߟྀͨ͠CE 14 ಛ௃ྔؒͷ૬ؔͱ֎Ε஋ϦεΫΛߟྀͨ͠ίετؔ਺Λಋೖ DACE: Distribution-Aware Counterfactual Explanation ೖྗΠϯελϯεू߹ , ڞ෼ࢄߦྻ , ඇෛ࣮਺ , ࣗવ਺ ʹରͯ͠, ҎԼͷίετؔ਺ͷ΋ͱͰCE໰୊ͷղΛٻΊΔ: ͜͜Ͱ, ͸ϚϋϥϊϏεڑ཭, ͸ Local Outlier Factor (LOF). X ⊆ 𝒳 Σ ∈ ℝD×D λ ≥ 0 k ∈ ℕ CDACE (a ∣ x) := d2 M (x, x + a ∣ Σ−1) + λ ⋅ qk (x + a ∣ X) dM qk • ίετؔ਺ ͰΞΫγϣϯ ͷݱ࣮ੑΛධՁ͢Δ • ϚϋϥϊϏεڑ཭ [Mahalanobis 36]: ಛ௃ྔؒͷ૬ؔΛߟྀͨ͠ڑ཭ؔ਺ • LOF [Breunig+ 00]: -ۙ๣఺ू߹ͷີ౓ൺʹجͮ͘֎Ε஋ݕग़είΞ ‣ ࠷খԽ͢Δ͜ͱͰσʔλ෼෍Λߟྀͨ͠ݱ࣮తͳΞΫγϣϯΛಘΔ CDACE a k [Mahalanobis, 36] P. C. Mahalanobis: “On the generalized distance in statistics,” NISI, 1936. [Breunig+,00] M. M. Breunig et al.: “LOF: Identifying Density-Based Local Outliers,” SIGMOD, 2000.
15. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఏҊ: ϚϋϥϊϏεڑ཭ͷMILOఆࣜԽ 15 ൒ਖ਼ఆ஋ߦྻͷ෼ղʹجͮۙ͘ࣅʹΑΓޮ཰Α͘ఆࣜԽ ϚϋϥϊϏεڑ཭ (Mahalanobis distance, MD) [Mahalanobis 36] ಉҰ෼෍ʹै͏ϕΫτϧ ʹର͢ΔϚϋϥϊϏεڑ཭ (MD) ͸ҎԼͰఆٛ: , ͜͜Ͱ ͸ڞ෼ࢄߦྻ (൒ਖ਼ఆ஋ߦྻ). x, x′ ∈ ℝD dM (x, x′ ∣ Σ−1) = (x′ − x)⊤Σ−1(x′ − x) Σ ∈ ℝD×D ಛ௃ྔؒͷ εέʔϧͱ૬ؔΛ ߟྀͨ͠ڑ཭ؔ਺ • ఆࣜԽʹ ݸ ( ) ͷิॿม਺ͱ੍໿͕ࣜඞཁ • ํ਑: ൒ਖ਼ఆ஋ߦྻͷ෼ղ ʹجͮۙ͘ࣅ ➡ ‣ ݸͷิॿม਺ͱઢܗ੍໿ࣜͰදݱՄೳ 𝒪(I2) I ≫ D Σ−1 = U⊤U d2 M (x, x + a ∣ Σ−1) = ∥Ua∥2 2 = ∑ D d=1 (U⊤ d a) 2 ̂ dM (x, x + a ∣ Σ−1) := ∥Ua∥1 = ∑ D d=1 U⊤ d a 𝒪(D) ۙࣅ཰ D MD dM -MD ℓ1 ̂ dM
16. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఆ਺ ૒ઢܗܗࣜ (Big-M๏ͰදݱՄೳ) ఏҊ: LOFͷMILOఆࣜԽ 16 -ۙ๣఺ू߹Λ Ͱݻఆ͢Δ͜ͱͰޮ཰Α͘ఆࣜԽ k k = 1 Local Outlier Factor (LOF) [Breunig+ 00] ڑ཭ۭؒ ্ͷू߹ ʹ͓͚Δ ͷ -LOF͸ҎԼͰఆٛ: , ͜͜Ͱ ͸ -ہॴ౸ୡՄೳີ౓. (𝒳, d) X = {x(1), …, x(N)} x ∈ 𝒳 k qk (x ∣ X) = 1 |Nk (x)| ∑x′ ∈Nk (x) lrdk (x′ ) lrdk (x) lrdk (x) := 1/𝔼x′ ∈Nk (x) [d(x, x′ )] k -ۙ๣఺ू߹ ͷ ີ౓ൺͰ֎Ε஋Λݕग़ k Nk (x) • -ۙ๣఺ू߹ ʹ ݸͷิॿม਺͕ඞཁ • ٻΊΔΞΫγϣϯ ʹԠͯ͡ ΋มԽ͢Δ • ํ਑: Ͱݻఆ ‣ ݸͷิॿม਺ͰදݱՄೳ k Nk (x + a) 𝒪(N2) a Nk (x + a) k = 1 q1 (x + a ∣ X) = ∑ x(n)∈X lrd1 (x(n)) ⋅ d(x + a, x(n)) ⋅ 𝕀[x(n) ∈ Nk (x + a)] 𝒪(N) ¯ x a a qk (¯ x + a) ≫ 1 qk (¯ x + a) ≈ 1
17. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఏҊ: MILO໰୊ͱͯ͠ͷఆࣜԽ 17 ม਺ͱ੍໿ࣜͷ૯਺ͷ࡟ݮʹΑΓ, ٻղͷߴ଎Խʹ੒ޭ DACE: MILO Formulation (Ϟσϧ: ܾఆ໦Ξϯαϯϒϧ) minimize ∑ D d=1 δd + λ ⋅ ∑ N n=1 l(n) ⋅ ρn ∑ D d=1 ∑ Id i=1 (c(n) d,i − c(n′ ) d,i ) πd,i ≤ Cn (1 − νn ), ∀n, n′ ∈ [N ] ρn ≥ d(n) ⋅ νn , ∀n ∈ [N ] ρn ≥ ∑ D d=1 ∑ Id i=1 c(n) d,i πd,i − Cn (1 − νn ), ∀n ∈ [N ] ∑ N n=1 νn = 1 1-LOF πd,i ∈ {0,1}, ∀d ∈ [D], i ∈ [Id ] ϕt,l ∈ {0,1}, ∀t ∈ [T ], l ∈ [Lt ] δd ≥ 0,∀d ∈ [D] νn ∈ {0,1}, ρn ≥ 0,∀n ∈ [N ] subject to ∑ Id i=1 πd,i = 1,∀d ∈ [D] ∑ Lt l=1 ϕt,l = 1,∀t ∈ [T ] D ⋅ ϕt,l ≤ ∑ D d=1 ∑i∈I(d) t,l πd,i , ∀t ∈ [T ], l ∈ [Lt ] ∑ T t=1 wt ∑ Lt l=1 ̂ yt,l ϕt,l ≥ 0 −δd ≤ ∑ D d′ =1 Ud,d′ ∑ I d′ i=1 ad′ ,i πd,i ≤ δd , ∀d ∈ [D] -MD ℓ1 N : σʔλ਺
    
    
    I : ΞΫγϣϯ૯਺ ( ) D : ಛ௃ྔ਺
    
    L : ༿ϊʔυ૯਺ I ≫ D ݫີͳఆࣜԽͱൺֱͯ͠ ม਺ͱ੍໿ࣜͷ૯਺Λ࡟ݮ Exact Proposed #Variables O(N2 + I2 + L) O(N + I + L) #Constraints O(N2 + I2 + L) O(N2 + D + L)
18. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ࣮ݧ݁Ռ (FICOσʔληοτ) 18 ૬ؔͱ֎Ε஋ϦεΫΛߟྀͨ͠ΞΫγϣϯΛఏࣔͰ͖ͨ Results ఏҊख๏ (DACE) ʹΑΓMDͱ10-LOFʹؔͯ͠ طଘख๏ΑΓྑ͍ΞΫγϣϯ͕ಘΒΕͨ ‣ طଘख๏͸, ಛ௃ྔؒͷ૬ؔΛߟྀͰ͖ͣ, ࣮ߦ݁Ռ͕֎Ε஋ʹͳΔՄೳੑ͕ߴ͍ ‣ ఏҊख๏͸, ૬ؔͱ֎Ε஋ϦεΫΛߟྀͨ͠ ݱ࣮తͳΞΫγϣϯΛఏࣔͰ͖Δ Logistic Regression Random Forest MD 10-LOF MD 10-LOF TLPS[1] 9.09 ± 2.97 3.86 ± 1.49 2.22 ± 1.31 1.49 ± 1.07 MAD[2] 5.42 ± 4.04 1.65 ± 1.29 2.29 ± 1.58 1.56 ± 1.14 PCC[3] 9.46 ± 6.66 1.61 ± 1.31 3.76 ± 2.36 1.6 ± 1.27 DACE 1.97 ± 1.46 1.54 ± 1.12 1.54 ± 1.18 1.33 ± 0.496 • طଘख๏ͱఏҊख๏ʹΑΓಘΒΕͨ ΞΫγϣϯͷMDͱ10-LOFΛൺֱ 55 60 65 70 75 80 85 90 ExternalRiskEstimate 0 20 40 60 80 100 PercentInstallTrades TLPS DACE (ours) 0 50 100 150 200 250 MSinceOldestTradeOpen 0 20 40 60 80 100 AverageMInFile TLPS DACE (ours) TLPS DACE TLPS DACE [1] B. Ustun et al.: “Actionable Recourse in Linear Classification,” FAT*, 2019. [2] C. Russell: “Efficient Search for Diverse Coherent Explanations,” FAT*, 2019. [3] V. Ballet et al.: “Imperceptible Adversarial Attacks on Tabular Data,” NeurIPS Workshops, 2019.
19. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ 4ষͷ·ͱΊ 19 σʔλ෼෍Λߟྀͯ͠ݱ࣮తͳΞΫγϣϯΛఏࣔ͢ΔCE • ཁ݅: CEʹ͓͍ͯ, σʔλ෼෍ͷಛੑΛߟྀͯ͠ ɹɹ ΞΫγϣϯͷݱ࣮ੑΛධՁ͢΂͖ • ಛ௃ྔؒͷ૬ؔؔ܎ͱ֎Ε஋ϦεΫΛߟྀ͢Δ͜ͱͰ ݱ࣮తͳΞΫγϣϯΛఏࣔ͢ΔCEख๏Λ։ൃͨ͠ • ϚϋϥϊϏεڑ཭ͱLOFʹجͮ͘ίετؔ਺Λಋೖ • ಋೖͨ͠ίετؔ਺ʹରͯ͠MILOʹجͮ͘࠷దԽํ๏ΛఏҊ 55 60 65 70 75 80 85 90 ExternalRiskEstimate 0 20 40 60 80 100 PercentInstallTrades TLPS DACE (ours) 0 50 100 150 200 250 MSinceOldestTradeOpen 0 20 40 60 80 100 AverageMInFile TLPS DACE (ours) طଘख๏ ఏҊख๏ طଘख๏ ఏҊख๏ ಛ௃ྔؒͷҼՌؔ܎͸ ߟྀͰ͖ͳ͍ ‣ 5ষͰղܾΛ໨ࢦ͢ ࢒՝୊
20. 2022/01/24 ެ։࿦จઆ໌ձ ۚ৿ ݑଠ࿕ 20 Ordered Counterfactual Explanation • Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, Yuichi Ike, Kento Uemura, and Hiroki Arimura: “Ordered Counterfactual Explanation by Mixed-Integer Linear Optimization,” In Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI 2021), pages 11564-11574, 2021. Chapter 5
21. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ݚڀ໨ඪ 21 CEͰ, ಛ௃ྔͷมߋํ๏͚ͩͰͳ͘, มߋॱং΋ఏ͍ࣔͨ͠ • ಛ௃ྔؒʹ૬ޓ࡞༻ (ྫ: ҼՌޮՌ [Karimi+ 20]) ͕͋Δ৔߹, ΞΫγϣϯͷίετ͸ಛ௃ྔͷมߋॱংʹ΋ґଘ͢Δ • ཁ݅: ΞΫγϣϯͱͯ͠, ಛ௃ྔͷมߋํ๏͚ͩͰͳ͘, ૬ޓ࡞༻Λߟྀͯ͠ద੾ͳมߋॱং΋ఏࣔ͢Δ΂͖ ໨ඪ 1. ૬ޓ࡞༻ʹج͍ͮͯมߋॱংΛධՁ͢Δίετؔ਺Λಋೖ͢Δ ໨ඪ 2. มߋํ๏ͱมߋॱংΛಉ࣌ʹ࠷దԽ͢Δํ๏ΛఏҊ͢Δ ϩʔϯ͕ঝೝ͞ΕΔͨΊʹ͸, “Income” Λ૿΍͠·͠ΐ͏ʂ ͋ͱ͸ “JobSkill” ΋্͛ͯͶʂ Ͱ΋ “WorkPerDay” ͸ݮΒͯ͠ʂ ͋ͱ͸… XAI͘Μ ͏ʔΜ… ͲΕΛ࠷ॳʹ΍Ε͹ ͍͍ͷʁ Ϣʔβ CE (ΞΫγϣϯ) Insulin Glucose SkinThickness BMI 0.09 0.05 0.04 0.16 Education JobSkill Income WorkPerDay HealthStatus 1.00 6.00 4.00 0.50 JobSkill ҼՌ DAG [Karimi+ 20] A. H. Karimi et al.: “Algorithmic recourse under imperfect causal knowledge: a probabilistic approach,” NeurIPS, 2020.
22. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఏҊ: ॱং෇͖CE 22 ಛ௃ྔؒͷ૬ޓ࡞༻͔Β࠷దͳॱং෇͖ΞΫγϣϯΛఏࣔ OrdCE: Ordered Counterfactual Explanation ૬ޓ࡞༻ߦྻ , ઁಈಛ௃ྔ਺ , ύϥϝʔλ ʹରͯ͠, ҎԼͷ࠷దԽ໰୊ͷ࠷దղͱͳΔॱং෇͖ΞΫγϣϯ ΛٻΊΔ: M ∈ ℝD×D K ∈ [D] γ ≥ 0 (a*, σ*) (a*, σ*) = arg min a∈𝒜,σ∈Σ(a) C(a ∣ x) + γ ⋅ Cord (a, σ ∣ M) subject to f(x + a) = y* ∧ ∥a∥0 ≤ K • ॱྻ ͸ ͷมߋॱংΛද͢ • ॱংίετؔ਺ ͸ҼՌDAGͳͲͷ ૬ޓ࡞༻৘ใʹج͖ͮ ΛධՁ ‣ ίετؔ਺ ͱͷಉ࣌࠷খԽʹΑΓ ಛ௃ྔͷมߋํ๏ ͱมߋॱং Λܾఆ σ = (σ1 , …, σK ) ∈ Σ(a) a Cord σ C a σ ҼՌ୳ࡧख๏ͰਪఆՄೳ Order Feature Action 1st “JobSkill” +1 2nd “Income” +7 ॱྻ σ
23. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఏҊ: MILO໰୊ͱͯ͠ͷఆࣜԽ 23 มߋํ๏ͱมߋॱংͷಉ࣌࠷దԽΛMILO໰୊ͱͯ͠ఆࣜԽ OrdCE: MILO Formulation minimize ∑ D d=1 ∑ Id i=1 cd,i πd,i + γ ⋅ ∑ K k=1 ζk σk,d = 1 − π(k) d,1 , ∀k ∈ [K ], d ∈ [D] ∑ D d=1 σk,d ≤ 1,∀k ∈ [K ] มߋॱং ∑ K k=1 σk,d ≤ 1,∀d ∈ [D] ∑ D d=1 σk,d ≥ ∑ D d=1 σk+1,d , ∀k ∈ [K − 1] π(k) d,i ∈ {0,1}, ∀k ∈ [K ], d ∈ [D], i ∈ [Id ] δk,d , ζk ∈ ℝ, ∀k ∈ [K ], d ∈ [D] σk,d ∈ {0,1}, ∀k ∈ [K ], d ∈ [D] subject to ∑ Id i=1 πd,i = 1,∀d ∈ [D] πd,i = ∑ K k=1 π(k) d,i , ∀d ∈ [D], i ∈ [Id ] ξd = xd + ∑ Id i=1 ad,i πd,i , ∀d ∈ [D] ∑ D d=1 wd ξd ≥ 0 δk,d ≥ ∑ Id i=1 ad,i π(k) d,i − εk,d − Uk,d (1 − σk,d ), ∀k ∈ [K ], d ∈ [D] ॱংίετؔ਺ δk,d ≤ ∑ Id i=1 ad,i π(k) d,i − εk,d − Lk,d (1 − σk,d ), ∀k ∈ [K ], d ∈ [D] Lk,d σk,d ≤ δk,d ≤ Uk,d σk,d , ∀k ∈ [K ], d ∈ [D] εk,d = ∑ k−1 l=1 ∑ D d′ =1 Md′ ,d δl,d′ , ∀k ∈ [K ], d ∈ [D] −ζk ≤ ∑ D d=1 δk,d ≤ ζk , ∀k ∈ [K ] ੔਺ม਺Λ༻੍͍ͨ໿ࣜͰ ॱྻ ͱॱংίετؔ਺ Λ දݱՄೳ σ Cord
24. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ࣮ݧ݁Ռ (Diabetesσʔληοτ) 24 ҼՌؔ܎ͱ੔߹͢Δॱং෇͖ΞΫγϣϯΛఏࣔͰ͖ͨ Method Order Feature Action Cdist Cord Greedy 1st “BMI” -6.25 0.778 0.828 OrdCE 1st “Glucose” -3.0 0.825 0.749 2nd “BMI” -5.05 (a) TLPS Method Order Feature Action Cdist Cord Greedy 1st “BMI” -0.8 0.716 0.825 2nd “SkinThickness” -2.5 3rd “Glucose” -8.5 4th “Insulin” -32.0 OrdCE 1st “Insulin” -32.0 0.716 0.528 2nd “Glucose” -8.5 3rd “SkinThickness” -2.5 4th “BMI” -0.8 (b) DACE Table 1: Examples of ordered actions extracted from the RF classifier on the Diabetes dataset. Method Order Feature Action Cdist Cord Greedy 1st “BMI” -6.25 0.778 0.828 OrdCE 1st “Glucose” -3.0 0.825 0.749 2nd “BMI” -5.05 (a) TLPS Method Order Feature Action Cdist Cord Greedy 1st “BMI” -0.8 0.716 0.825 2nd “SkinThickness” -2.5 3rd “Glucose” -8.5 4th “Insulin” -32.0 OrdCE 1st “Insulin” -32.0 0.716 0.528 2nd “Glucose” -8.5 3rd “SkinThickness” -2.5 4th “BMI” -0.8 (b) DACE Table 1: Examples of ordered actions extracted from the RF classifier on the Diabetes dataset. Results • ఏҊख๏ (OrdCE) ͸ॱংίετ ͕ྑ͍ॱং෇͖ΞΫγϣϯΛൃݟ • ఏҊख๏ͰಘΒΕͨॱং෇͖ΞΫγϣϯ͸ࣄલਪఆͨ͠ҼՌؔ܎ͱ੔߹ ‣ ಛ௃ྔؒͷ૬ޓ࡞༻ʹج͍ͮͯ, ద੾ͳมߋॱংΛఏࣔͰ͖ͨ Cord มߋ͢Δಛ௃ྔ͕ҟͳΔ (ಉ࣌࠷దԽͷޮՌ) มߋ͢Δಛ௃ྔ͸ಉ͕ͩ͡, มߋॱং͕ҟͳΔ • ࣄޙతͳॱং෇͚๏ (Greedy) ͱൺֱ Insulin Glucose SkinThickness BMI 0.09 0.05 0.04 0.16 Education JobSkill Income WorkPerDay HealthStatus 1.00 6.00 4.00 0.50 ҼՌ DAG
25. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ 5ষͷ·ͱΊ 25 ಛ௃ྔͷมߋॱংΛఏࣔ͢Δ৽ͨͳCEͷϑϨʔϜϫʔΫ • ཁ݅: CEʹ͓͍ͯ, ಛ௃ྔͷมߋํ๏͚ͩͰͳ͘, ɹɹ ૬ޓ࡞༻ʹج͖ͮద੾ͳมߋॱং΋ఏࣔ͢Δ΂͖ • ΞΫγϣϯͱͯ͠, ಛ௃ྔͷมߋํ๏ͱมߋॱংΛ ಉ࣌ʹ࠷దԽͯ͠ఏࣔ͢Δ৽ͨͳCEख๏Λ։ൃͨ͠ • ҼՌޮՌͳͲͷ૬ޓ࡞༻ʹجͮ͘ॱংίετؔ਺Λಋೖ͠, มߋํ๏ͱมߋॱংΛಉ࣌ʹ࠷దԽ͢Δ໰୊ΛఆࣜԽ • MILOʹجͮ͘ղ๏ΛఏҊ ҼՌ DAG Insulin Glucose SkinThickness BMI 0.09 0.05 0.04 0.16 Education JobSkill Income WorkPerDay HealthStatus 1.00 6.00 4.00 0.50 Method Order Feature Action OrdCE + TLPS 1st “JobSkill” +1 2nd “Income” +6 OrdCE + DACE 1st “HealthStatus” +3 2nd “WorkPerDay” +1 3rd “Income” +4 ఏҊख๏ (ॱং෇͖CE) ૬ޓ࡞༻͔Β ॱংΛܾఆ
26. 2022/01/24 ެ։࿦จઆ໌ձ ۚ৿ ݑଠ࿕ 26 Fairness-Aware Decision Tree Editing • Kentaro Kanamori and Hiroki Arimura: “Fairness-Aware Decision Tree Editing Based on Mixed-Integer Linear Optimization,” Transactions of the Japanese Society for Artificial Intelligence (JSAI), vol. 36, no. 4, pages B- L13_1-10, 2021. Chapter 6
27. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ͷूஂʹରͯ͠ z = 1 ༧ଌ݁Ռ͕ ͱͳΔ֬཰ y* ͷूஂʹରͯ͠ z = 0 ༧ଌ݁Ռ͕ ͱͳΔ֬཰ y* • ੑผ΍ਓछͳͲͷଐੑʹࠩผతͳ༧ଌΛߦ͏Ϟσϧ͸, ࣮ࡍͷҙࢥܾఆλεΫʹ࢖༻Ͱ͖ͳ͍ • ࣾձతཁ੥: GDPR (EU 2018), ਓؒத৺ͷAIࣾձݪଇ (಺ֳ෎ 2019), … • ެฏੑ഑ྀܕͷػցֶश [Calders+ 09] • ެฏੑͷධՁࢦඪʹجͮ͘ ੍໿ͷԼͰϞσϧΛֶश͢Δ • ྫ) Demographic Parity (DP) ‣ ଐੑ ʹ͍ͭͯ༧ଌ݁ՌʹภΓͷͳ͍Ϟσϧ Λֶश͢Δ Δz (h) := ℙ(h(x) = y* ∣ z = 1) − ℙ(h(x) = y* ∣ z = 0) z ∈ {0,1} h ݚڀഎܠ: ػցֶशͷެฏੑ 27 ػցֶशͷެฏੑ (fairness) ͕ॏཁࢹ͞Ε͍ͯΔ ࠶൜ϦεΫ: ௿ ࣮ࡍ: 3౓ͷ࠶൜ COMPASσʔληοτ [Larson+ 16] ࠶൜ϦεΫ: ߴ ࣮ࡍ: ࠶൜ͳ͠ [Calders+ 09] T. Calders et al.: “Building Classifiers with Independency Constraints,” ICDM Workshops, 2009. [Larson+ 16] J. Larson et al.: “How We Analyzed the COMPAS Recidivism Algorithm,” ProPublica, 2016.
28. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ݚڀ໨ඪ 28 ެฏੑ੍໿Լͷ࠶ֶशͰ, ܾఆ໦ͷ༧ଌͱղऍΛ҆ఆͤ͞Δ • ӡ༻தͷϞσϧʹެฏੑͷ໰୊Λൃݟͨ͠৔߹, ެฏੑ੍໿Λຬͨ͢Α͏ʹϞσϧΛमਖ਼͢Δඞཁ͕͋Δ • ղऍՄೳͳϞσϧʹ͸ଟॏੑ (multiplicity) ͕͋Δ: • ༧ଌͷଟॏੑ [Marx+ 20] • ղऍͷଟॏੑ [Guidotti+ 19] ‣ ୯ͳΔ࠶ֶशʹΑΔमਖ਼Ͱ͸, ༧ଌͱղऍ (આ໌) ͕ඞཁҎ্ʹมԽ • ཁ݅: Ϟσϧͷ༧ଌͱղऍ͸ඞཁͳ෦෼ͷΈमਖ਼͢΂͖ ໨ඪ 1. ܾఆ໦ͷ༧ଌͱղऍͷඇྨࣅ౓ΛධՁ͢ΔࢦඪΛಋೖ͢Δ ໨ඪ 2. ެฏੑ੍໿ԼͰඇྨࣅ౓Λ࠷খԽ͢Δ͜ͱͰϞσϧΛमਖ਼͢Δ આ໌ ༧ଌࠜڌ͸
    ݂౶஋ͱੑผͰ͢ ࠶ֶश આ໌ ༧ଌࠜڌ͸
    #.*ͱ೥ྸͰ͢ ‣ ݕূίετ૿ ‣ ৴པੑ௿Լ [Marx+, 20] C. Marx et al.: “Predictive Multiplicity in Classification,” ICML, 2020. [Guidotti+, 19] R. Guidotti and S. Ruggieri: “On The Stability of Interpretable Models,” IJCNN, 2019.
29. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఏҊ: ެฏੑΛߟྀܾͨ͠ఆ໦ฤू 29 ܾఆ໦ؒͷඇྨࣅ౓Λಋೖ͠, ެฏੑ੍໿ԼͰ࠷খԽ FADE: Fairness-Aware Decision tree Editing ܇࿅αϯϓϧ , ܾఆ໦ , ެฏੑࢦඪ , ެฏੑύϥϝʔλ ʹରͯ͠, ҎԼͷ࠷దԽ໰୊Λղ͘: ͜͜Ͱ, ͸ܾఆ໦ͷू߹, ͸ܾఆ໦ؒͷඇྨࣅ౓. S ⊆ 𝒳 × 𝒴 h: 𝒳 → 𝒴 Δz : 𝒳 → [0,1] θ ∈ [0,1] minh*∈ℋ Γ(h, h*) subject to Δz (h* ∣ S) ≤ θ ℋ Γ: ℋ × ℋ → ℝ≥0 • ܾఆ໦ؒͷඇྨࣅ౓ ͱͯ͠, ҎԼΛಋೖ: • ༧ଌ: ༧ଌෆҰக౓ • ղऍ: ฤूڑ཭ ‣ ެฏੑ੍໿ԼͰ࠷খԽ͢Δ͜ͱͰܾఆ໦Λฤू͢Δ Γ ΓPD (h, h* ∣ S) = 1 |S| ∑(x,y)∈S 𝕀[h(x) ≠ h*(x)] ΓED (h, h*) = mine(h,h*)∑em ∈e(h,h*) cost(em ) ܾఆ໦Λ ϥϕϧ෇͖ॱং໦ͱ ݟͳͨ͠ฤूڑ཭ ฤूલޙͰ༧ଌ͕ มΘׂͬͨ߹
30. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ఏҊ: MILO໰୊ͱͯ͠ͷఆࣜԽ 30 ެฏੑ੍໿ԼͰͷඇྨࣅ౓࠷খԽΛMILO໰୊ͱͯ͠ఆࣜԽ FADE: MILO Formulation minimize ∑t∈𝒯 γt αi,d ∈ {0,1}, ∀i ∈ ℐ, d ∈ [D] ζt, λ+ t , λ− t ∈ {0,1}, γt ≥ 0,∀t ∈ 𝒯 ϕl,n ∈ {0,1}, δl ∈ [−1,1], ∀l ∈ ℒ, n ∈ [N ] subject to ∑d∈[D] αi,d = ζi, ∀i ∈ ℐ λ+ l + λ− l = 1,∀l ∈ ℒ ζi ≤ ζji ∀i ∈ ℐ, ji = max A(R) i ζl = ζil ∀l ∈ ℒ, il = max A(R) l ∑i∈Al αi,d ≤ 1∀l ∈ ℒ, d ∈ [D] 0 ≤ ζright(i) + 2 ⋅ λ* i − λ* left(i) − λ* right(i) ≤ 1,∀i ∈ ℐ, * ∈ { − , + } ζi ≤ 1 − λ+ i − λ− i , ∀i ∈ ℐ 0 ≤ ∑i∈A(L) (1 − ψi,n) + ∑i∈A(R) ψi,n − Il ⋅ ϕl,n ≤ 1,∀l ∈ ℒ, n ∈ [N ] ψi,n = ∑d∈[D] αi,d ⋅ x(n) d , ∀i ∈ ℐ, n ∈ [N ] ζl ≤ ∑n∈[N ] ϕl,n, ∀l ∈ ℒ ϕl,n ≤ ζl, ∀l ∈ ℒ, n ∈ [N ] ∑l∈ℒ ϕl,n = 1,∀n ∈ [N ] −λ+ l ≤ δl ≤ λ+ l , ∀l ∈ ℒ ∑n∈[N ] cn ⋅ ϕl,n − λ− l ≤ δl ≤ ∑n∈[N ] cn ⋅ ϕl,n + λ− l , ∀l ∈ ℒ N− l − N ⋅ λ− l ≤ γl ≤ N− l + N ⋅ λ− l ∀l ∈ ℒ N+ l − N ⋅ λ+ l ≤ γl ≤ N+ l + N ⋅ λ+ l ∀l ∈ ℒ N+ l = ∑n∈[N ] h(x(n)) ⋅ ϕl,n, ∀l ∈ ℒ N− l = ∑n∈[N ] (1 − h(x(n))) ⋅ ϕl,n, ∀l ∈ ℒ ∑t2∈𝒯 μt1,t2 ≤ 1,∀t1 ∈ 𝒯 ∑t1∈𝒯 μt1,t2 = ζt2 , ∀t2 ∈ 𝒯 μt1,t2 + μu1,u2 ≤ 1,∀(t1, t2), (u1, y2) ∈ 𝒯<anc μt1,t2 + μu1,u2 ≤ 1,∀(t1, t2), (u1, y2) ∈ 𝒯<sib γt1 ≥ 1 − ∑t2∈𝒯 μt1,t2 , ∀t1 ∈ 𝒯 γi1 ≥ ∑d∈[D] 𝕀[di1 = d ] ⋅ αi2,d − (1 − μi1,i2 ), ∀i1, i2 ∈ ℐ γl1 ≥ ̂ yl1 ⋅ λ− l2 + (1 − ̂ yl1 ) ⋅ λ+ l2 − (1 − μl1,l2 ), ∀l1, l2 ∈ ℒ μt1,t2 ∈ {0,1}, ∀t1, t2 ∈ 𝒯 ެฏੑ੍໿ ༧ଌෆҰக౓ (PD) ฤूڑ཭ (ED) if Γ = ΓPD : if Γ = ΓED : −θ ≤ ∑l∈ℒ δl ≤ θ, ੔਺ม਺Λ ༻੍͍ͨ໿ࣜͰ ໦ߏ଄ΛදݱՄೳ
31. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ࣮ݧ݁Ռ (German-Creditσʔληοτ) 31 ༧ଌͱղऍΛҡ࣋ͭͭ͠ެฏͳܾఆ໦ʹฤूͰ͖ͨ PDͱEDΛখ͘͞อͪͭͭ, DADTͱ ಉ౳ͷςετޡࠩͱDP (໿+2%Ҏ಺) Λ ୡ੒͢Δܾఆ໦͕ಘΒΕͨ ‣ ݩͷܾఆ໦ͷ༧ଌͱղऍΛେ͖͘ม͑ͣʹ, ެฏͳܾఆ໦ʹฤूͰ͖ͨ Results Method DADT FADE-PD FADE-ED Test Loss 0.295 ± 0.021 0.318 ± 0.047 0.298 ± 0.029 DP 0.0816 ± 0.049 0.0951 ± 0.09 0.066 ± 0.05 PD 0.251 ± 0.035 0.0907 ± 0.018 0.172 ± 0.051 ED 16.2 ± 2.1 4.9 ± 2.6 1.0 ± 0.0 $IFDLJOH "NPVOU ≤ 1 $IFDLJOH "NPVOU ≤ 0 %VSBUJPO ≤ 10 /PU
    %FGBVMU /PU
    %FGBVMU /PU
    %FGBVMU %FGBVMU False True False True False True ॳظܾఆ໦ Loss: 28.1% DP : 14.7% )PVTJOH = 3FOU $IFDLJOH "NPVOU ≤ 0 /PU
    %FGBVMU /PU
    %FGBVMU False True False True False True %VSBUJPO ≤ 24 /PU
    %FGBVMU %FGBVMU DADT (࠶ֶश) Loss: 28.6% DP: 2.1% PD: 26% ED: 4 $IFDLJOH "NPVOU ≤ 1 $IFDLJOH "NPVOU ≤ 0 %VSBUJPO ≤ 24 /PU
    %FGBVMU /PU
    %FGBVMU /PU
    %FGBVMU %FGBVMU False True False True False True FADE (ฤू) Loss: 28.0% DP: 0.4% PD: 15% ED: 1 • ެฏੑ੍໿ԼͰͷ࠶ֶश (DADT [Kamiran+ 10]) ͱൺֱ [Kamiran+ 10] F. Kamiran et al.: “Discrimination Aware Decision Tree Learning,” ICDM, 2010. ࠶ֶश ฤू
32. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ 6ষͷ·ͱΊ 32 ެฏੑ੍໿ԼͰܾఆ໦Λฤू͢Δ৽ֶ͍͠श໰୊ͷఆࣜԽ • ཁ݅: ެฏੑ੍໿ͷԼͰϞσϧΛ࠶ֶश͢Δࡍ, ɹɹ Ϟσϧͷ༧ଌͱղऍ͸ඞཁͳ෦෼ͷΈमਖ਼͢΂͖ • ֶशࡁΈܾఆ໦ͷ༧ଌͱղऍΛେ͖͘ม͑ͣʹ ެฏੑ੍໿Λຬͨ͢Α͏ʹฤू͢Δํ๏ΛఏҊͨ͠ • ܾఆ໦ͷ༧ଌͱղऍʹؔ͢Δඇྨࣅ౓Λಋೖ͠, ެฏੑ੍໿ԼͰ ࠷খԽ͢Δ໰୊ΛఆࣜԽ • MILOʹجͮ͘ղ๏ΛఏҊ $IFDLJOH "NPVOU ≤ 1 $IFDLJOH "NPVOU ≤ 0 %VSBUJPO ≤ 10 /PU
    %FGBVMU /PU
    %FGBVMU /PU
    %FGBVMU %FGBVMU False True False True False True ෆެฏͳܾఆ໦ $IFDLJOH "NPVOU ≤ 1 $IFDLJOH "NPVOU ≤ 0 %VSBUJPO ≤ 24 /PU
    %FGBVMU /PU
    %FGBVMU /PU
    %FGBVMU %FGBVMU False True False True False True ެฏͳܾఆ໦ ฤू ༧ଌͱղऍΛ ҡ࣋ͭͭ͠मਖ਼
33. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ·ͱΊ: ຊֶҐ࿦จͷ੒Ռ 33 આ໌Մೳੑͷཁ݅ΛఆࣜԽ͠, MILOʹج࣮ͮ͘ݱํ๏Λ։ൃ • DACE: σʔλ෼෍Λߟྀͨ͠CE (4ষ) ཁ݅: σʔλ෼෍ͷಛੑΛߟྀͯ͠ΞΫγϣϯͷݱ࣮ੑΛධՁ͢΂͖ ‣ ಛ௃ྔؒͷ૬ؔͱ֎Ε஋ϦεΫΛߟྀͨ͠৽͍͠CEख๏Λ։ൃͨ͠ • OrdCE: ಛ௃ྔͷมߋॱং΋ఏࣔ͢ΔCE (5ষ) ཁ݅: ಛ௃ྔͷมߋํ๏͚ͩͰͳ͘, ద੾ͳมߋॱং΋ఏࣔ͢΂͖ ‣ ҼՌޮՌʹج͍ͮͯมߋॱংΛఏࣔ͢Δ৽͍͠CEͷ࿮૊ΈΛ։ൃͨ͠ • FADE: ެฏੑ੍໿ԼͰͷܾఆ໦ฤू๏ (6ষ) ཁ݅: ࠶ֶश͢Δࡍ, Ϟσϧͷ༧ଌͱղऍ͸ඞཁͳ෦෼ͷΈमਖ਼͢΂͖ ‣ ࠷খݶͷฤूૢ࡞Ͱެฏੑ੍໿Λຬͨ͢Α͏ʹϞσϧΛमਖ਼͢Δ ܾఆ໦ͷ৽ֶ͍͠शख๏Λ։ൃͨ͠ ଥ౰ੑ ଥ౰ੑ ҆ఆੑ
34. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ·ͱΊ: ຊݚڀͷߩݙ 34 • CEͱܾఆ໦ʹ͓͚Δ࣮༻্ͷ՝୊Λղܾ͢ΔͨΊʹ, ػցֶशͷઆ໌͕ຬͨ͢΂͖ཁ݅Λ৽ͨʹఏҊͨ͠ • ͦͷཁ݅Λ໨తؔ਺΍੍໿ࣜͱͯ͠਺ཧϞσϧԽ͠, ػցֶशͷઆ໌໰୊ʹ3ͭͷ৽͍͠ఆࣜԽΛ༩͑ͨ • ఆࣜԽͨ͠3ͭͷઆ໌໰୊ʹରͯ͠, ࠞ߹੔਺ઢܗܭը๏ (MILO) ʹجͮ͘ղ๏Λ։ൃͨ͠ ‣ આ໌Մೳੑͷ࣮ݱΛ໨తͱ֤ͨ͠छͷ໰୊ʹ͍ͭͯ, ΑΓ࣮༻తͳఆࣜԽํ๏ͱޮ཰ྑ͍ղ๏Λ։ൃ͠, ͦͷ༗ޮੑΛࣔͨ͠ આ໌ՄೳͳػցֶशͷΑΓ࣮༻తͳΞϓϩʔνΛ৽ͨʹఏҊ
35. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ࠓޙͷݚڀʹ͍ͭͯ 35 ཧ࿦ͱԠ༻ͷ྆໘͔Βઆ໌Մೳੑͷ࣮ݱΛ໨ࢦ͢ • ཧ࿦: ఏҊख๏ͷޮ཰Խͱ֦ு ‣ ଞ਺ཧ࠷దԽख๏ (ྫ: ྼϞδϡϥ࠷దԽ) ΛԠ༻ͨۙ͠ࣅղ๏ͷݕ౼ ‣ ैདྷͷઆ໌ख๏Λ֦ுͨ͠ΑΓ࣮༻తͳઆ໌ܗࣜͷ૑ग़ • ط੒Ռ: ܾఆ໦Λ༻͍ͨCEͷେҬతͳཁ໿ (AISTATS-22 ൃද༧ఆ [Kanamori+ 22]) • Ԡ༻: ࣮ࡍͷҙࢥܾఆλεΫʹ͓͚ΔϢʔβ࣮ݧ • ࠷ऴ໨ඪ͸, ࣮ࡍͷϢʔβʹͱ࣮ͬͯ༻తͳઆ໌Λఏࣔ͢Δ͜ͱ • ࠓճఏҊͨ͠ཁ݅͸, ࣮༻తͳઆ໌ͷඞཁ৚݅ • ࣮ࡍͷཁ݅͸, ᐆດͰλεΫ͝ͱʹҟͳΔ͜ͱ͕ଟ͍ ‣ ࣮ࡍͷҙࢥܾఆλεΫͰͷϢʔβ࣮ݧͰ ϢʔβʹͱͬͯΑΓॏཁͳཁ݅Λಉఆ͠, ͦΕΛద੾ʹ਺ཧϞσϧԽ͢Δ ҙࢥܾఆλεΫ “આ໌”ͷ਺ཧϞσϧ ద༻ (Ϣʔβ࣮ݧ) ൓ө (ཁ݅ͷఆࣜԽ) [Kanamori+, 22] K. Kanamori et al.: “Counterfactual Explanation Trees: Transparent and Consistent Actionable Recourse with Decision Trees,” AISTATS, 2022 (to appear).
36. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ෇࿥: ؔ࿈ۀ੷ (Publication) 36 આ໌ՄೳͳػցֶशͷͨΊͷ৽ͨͳΞϓϩʔνΛఏҊ͠, AI෼໺ͷ࿦จࢽ͓Αͼ೉ؔࠃࡍձٞ (IJCAI, AAAI, AISTATS) ʹ࠾୒ • ࿦จࢽʢࠪಡ෇͖ʣ 1. Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, and Hiroki Arimura: “Distribution-Aware Counterfactual Explanation by Mixed-Integer Linear Optimization,” Transactions of the Japanese Society for Artificial Intelligence (JSAI), vol. 36, no. 6, pages C-L44_1-12, November 2021.ʢܝࡌࡁΈʣ 2. Kentaro Kanamori and Hiroki Arimura: “Fairness-Aware Decision Tree Editing Based on Mixed-Integer Linear Optimization,” Transactions of the Japanese Society for Artificial Intelligence (JSAI), vol. 36, no. 4, pages B-L13_1-10, July 2021.ʢܝࡌࡁΈʣ • ࠃࡍձٞ༧ߘूʢࠪಡ෇͖ʣ 3. Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, and Hiroki Arimura: “DACE: Distribution-Aware Counterfactual Explanation by Mixed-Integer Linear Optimization,” In Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI 2020), pages 2855-2862, July 2020. ʢൃදࡁΈ, ࠾୒཰ 592/4717=12.6%ʣ 4. Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, Yuichi Ike, Kento Uemura, and Hiroki Arimura: “Ordered Counterfactual Explanation by Mixed-Integer Linear Optimization,” In Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI 2021), pages 11564-11574, May 2021. ʢൃදࡁΈ, ࠾୒཰ 1692/7911=21.4%ʣ 5. Kentaro Kanamori, Takuya Takagi, Ken Kobayashi, and Yuichi Ike: “Counterfactual Explanation Trees: Transparent and Consistent Actionable Recourse with Decision Trees,” In Proceedings of the 25th International Conference on Artificial Intelligence and Statistics (AISTATS 2022), to appear. ʢ࠾୒ࡁΈ, 2022೥3݄ൃද༧ఆ, ࠾୒཰ 492/1685=29.2%ʣ Ch. 4 Ch. 6 Ch. 4 Ch. 5
37. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ෇࿥: ࿦จҎ֎ͷؔ࿈ۀ੷ 37 ຊݚڀ੒Ռʹ͍ͭͯϓϨεϦϦʔε΍ট଴ߨԋΛߦͬͨ • ͦͷଞͷؔ࿈ۀ੷ • Chapter 5 ͷ੒Ռʹ͍ͭͯͷϓϨεϦϦʔε: ๺ւಓେֶ, גࣜձࣾ෋࢜௨ݚڀॴ (ݱ ෋࢜௨גࣜձࣾ): “๬ Ή݁Ռ·ͰͷखॱΛಋ͘͜ͱ͕Ͱ͖Δʮઆ໌Մೳͳ AIʯ Λ ੈքͰॳΊͯ։ൃ - ਓͱڠಇ͢Δ AI ͷ৴པੑͱಁ໌ੑ ͷ޲্Λ࣮ݱ”, ϓϨεϦϦʔε, Febrary, 2021. • Chapter 4, 5, 6 ͷ੒Ռʹ͍ͭͯͷট଴ߨԋ: ۚ৿ݑଠ࿕: “੔਺ܭը๏ʹجͮ͘આ໌Մೳͳػցֶश΁ͷ Ξϓϩʔν”, ਓ޻஌ೳֶձ ୈ115ճਓ޻஌ೳجຊ໰୊ݚڀ ձ (SIG-FPAI 115) ট଴ߨԋ, January 2021. • Chapter 6 ͷ੒ՌͷҰ෦ʹ͍ͭͯͷड৆: ਓ޻஌ೳֶձ2018೥౓ݚڀձ༏ल৆, Ұൠࣾஂ๏ਓ ਓ޻஌ ೳֶձ, June 2019. https://www.hokudai.ac.jp/news/pdf/210204_pr_re.pdf https://www.slideshare.net/KentaroKanamori/ss-243543886
38. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ෇࿥: આ໌ख๏ͷධՁ๏ͱ՝୊ 38 ैདྷख๏ͷ࣮༻্ͷ՝୊͕༷ʑͳ؍఺͔Βࢦఠ͞Ε͍ͯΔ • ଥ౰ੑ (plausibility) ՝୊: ༧ଌ݁Ռͷઆ໌ͱͯ͠ෆద੾ͳઆ໌͕ఏࣔ͞ΕΔ • ྫ: Model Parameter Randomization Test [Adebayo+ 18] ‣ Sliency MapͰ, ϞσϧύϥϝʔλΛม͑ͯ΋ಛ௃ྔॏཁ౓͕มΘΒͳ͍ • ྫ: Identical Class Test [Hanawa+ 21] ‣ ྨࣅσʔλઆ໌๏Ͱ, ༧ଌΫϥεͱҟͳΔ܇࿅σʔλ͕ఏࣔ͞ΕΔ • ྫ: Connectedness / Proximity / Robustness [Laugel+ 19] ‣ CEͰ, Ϣʔβ͕࣮ࡍʹ͸࣮ߦͰ͖ͳ͍ΞΫγϣϯ͕ఏࣔ͞ΕΔ • ҆ఆੑ (stability) ՝୊: આ໌͕ෆඞཁʹมԽͨ͠Γૢ࡞͞ΕΔ • ྫ: Locally-Lipschitz Criterion [Alvarez-Melis+ 18] ‣ ೖྗʹର͢ΔඍখͳઁಈʹΑͬͯہॴઆ໌͕େ͖͘มԽ͢Δ • ྫ: Fairwashing [Aivodji+ 19] ‣ ෆެฏͳϞσϧΛެฏʹݟ͔͚ͤΔ “ӕͷઆ໌” Λੜ੒Ͱ͖Δ ‣ ۩ମతͳղܾํ๏͸ଟ͘ͷ՝୊Ͱະղ໌ Fairwashing [Aivodji+ 19] “ੑผ” ͷ ॏཁ౓͕௿͍ “ੑผ” ͷ ॏཁ౓͕ߴ͍ ૢ࡞ Identical Class Test [Hanawa+ 21] ༧ଌΫϥεͱ ҟͳΔ ༧ଌΫϥεͱ ಉҰ
39. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ෇࿥: ॱংίετؔ਺ͷઃܭํ๏ 39 ࣄલਪఆͨ͠૬ޓ࡞༻৘ใ͔ΒมߋॱংͷίετΛධՁ • ૬ޓ࡞༻ʹج͖ͮมߋॱং ΛධՁ͢Δ • ૬ޓ࡞༻ߦྻ Ͱಛ௃ྔؒͷઢܗͷ૬ޓ࡞༻ޮՌΛܭࢉ • աڈͷઁಈʹΑΔ૬ޓ࡞༻ޮՌΛߟྀͨ͠ίετ ΛධՁ σ ∈ Σ(a) M Δ(k) ॱংίετؔ਺ (Ordering Cost Function) ॱং෇͖ΞΫγϣϯ ʹରͯ͠, ॱংίετؔ਺ ͸, , ͜͜Ͱ, ͸աڈͷઁಈΛߟྀͨ͠“࣮ࡍͷઁಈྔ”, ߦྻ ͸૬ޓ࡞༻ߦྻ (ྫ: ҼՌDAGͷྡ઀ߦྻ). (a, σ) Cord Cord (a, σ ∣ M) = ∑ K k=1 Δ(k) Δ(k) = aσk − ∑ k−1 l=1 Mσl ,σk ⋅ Δ(l) M = (Mi,j )1≤i,j≤D JobSkill Income +1 +6 JobSkill Income +1 +7 JobSkill Income JobSkill +1 Income +7 աڈͷઁಈʹΑΔ ૬ޓ࡞༻ޮՌ ʹඞཁͳ “࣮ࡍͷઁಈྔ” aσk + aσk = ඞཁͳઁಈྔ ˙
    ͕ॱংίετ Education JobSkill Income WorkPerDay HealthStatus 1.00 6.00 4.00 0.50 JobSkill Income 6.00 ҼՌ DAG ૬ޓ࡞༻ ޮՌ Order Feature Action 1st “JobSkill” +1 2nd “Income” +7 ॱྻ σ
40. 2022/01/24ɹެ։࿦จઆ໌ձɹۚ৿ ݑଠ࿕ ෇࿥: ฤू͞Εͨ༧ଌϧʔϧ 40 ฤू͞Εͨ༧ଌϧʔϧ͸, ϞσϧͷࠩผͷݪҼಛఆʹ໾ཱͭ Initial Rule → Edited Rule Priors ≤ 1 → Charge Degree = Felonies Priors ≤ 3 → Juvenile-Misdemeanors ≤ 0 Age ≤ 31 → Juvenile-Felonies ≤ 0 Juvenile-Felonies ≤ 0 → Age ≤ 27 Initial Rule → Edited Rule Job Skill ≤ 2 → Duration ≤ 10 Duration ≤ 10 → Credit Amount ≤ 3368 Duration ≤ 10 → Checking Account ≤ 2 Checking Account ≤ 1 → Housing = Rent German-Creditσʔληοτ COMPASσʔληοτ Results • FADEʹΑͬͯެฏੑ੍໿Λຬͨͨ͢Ίʹมߋ͞Εͨ༧ଌϧʔϧ͸, ݩͷϞσϧͷࠩผͷຊ࣭తͳݪҼͩͬͨ༧ଌϧʔϧͱͯ͠ղऍͰ͖Δ ‣ ୯ͳΔ࠶ֶशͰ͸ൃݟͰ͖ͳ͍, ϞσϧͷࠩผͷݪҼಛఆʹߩݙ ՝୊: ໦ߏ଄΍DPͷ஋ʹج͍ͮͨ༧ଌϧʔϧࣗମͷެฏੑఆྔධՁํ๏ • ఏҊख๏ (FADE) Ͱฤू͞Εͨ༧ଌϧʔϧΛҎԼʹࣔ͢: