rights reserved. 33 文献紹介:How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • NeurIPS 2020 • 予測対象と”類似した事例”をユーザーに提示する解釈性について、クラウドソーシングを用 いて他の手法と解釈のしやすさを調査 • (例:深層学習分類器の最終層特徴量における cosine類似度など)
rights reserved. 34 文献紹介:How Can I Explain This to You? An Empirical Study of Deep Neural Network Explanation Methods • 文章での説明方法は「LIME」が70.4%と好まれました。 • また、画像、音声、感覚の分類では、それぞれ 89.6%、70.9%、84.8%の割合で「例示によ る説明」が好まれた。
rights reserved. 36 文献紹介:Beyond Accuracy: Behavioral Testing of NLP Models with CHECKLIST • ACL 2020 Best Paper • 従来はtrain-test-validationでのみ精度評価が行われることが一般的 • そこでチェックリストを設けることで多面的に性能を評価しようという試み ◦ Min Func Test:ユニットテスト的な発想 ◦ INVariance:摂動に対する出力の頑健さ(入力が多少変わっても出力はかわらない ) ◦ DIRectional:出力を変えるような変更で出力が変わるか
《今まで人間には分からなかったこと、データに眠る隠れ た価値の発見》を行う Vision “Augment Intelligence”(拡張知能) : The combination of HumanExpertise & MachineLearning that goes far beyond just individuals & AI Empower Your Mind using Artificial Intelligence