Михаил Васильев (Cтарший специалист по машинному обучению) Поиск аномалий в данных. Алгоритмы iForest и PCA

Во втором докладе про поиск аномалий мы продолжим изучение наиболее популярных методов, сосредоточившись на Isolation Forest и PCA. Я объясню «на пальцах» как работают эти методы, а также, какие у них сильные и слабые стороны.

Видео: https://moscowpython.ru/meetup/101/iforest-pca/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Поиск аномалий iForest и PCA
2. Обо мне • Старший специалист по машинному обучению • deep learning engineer • NLP, CV, anomaly detection • Open source contributor • Выпускник и амбассадор Яндекс Практикума • Выпускник DLS ФПМИ МФТИ
3. Аномалии
4. Применение
5. Применение
6. Применение
7. Применение
8. Этапы
9. Этапы
10. Применение
11. Сбор данных
12. попугаи удавы 3.248357 -2.874754 2.930868 -2.826776 3.323844 -3.340012 3.761515 -2.883873 2.882923 -2.853464 2.882932 -3.357176 3.789606 -2.067113 … …
13. попугаи удавы 3.248357 -2.874754 2.930868 -2.826776 3.323844 -3.340012 3.761515 -2.883873 2.882923 -2.853464 2.882932 -3.357176 3.789606 -2.067113 … … индекс аномальности -0.119150 -0.131275 -0.108670 -0.065472 -0.128972 -0.120056 -0.012170 …
14. Методы $ pip install pyod from pyod.models.iforest import IForest clf = IForest() clf.fit(data) scores = clf.decision_scores_
15. Методы $ pip install pyod [1] Fei Tony Liu, Kai Ming Ting, and Zhi-Hua Zhou. Isolation forest. In Data Mining, 2008. ICDM'08. Eighth IEEE International Conference on, 413–422. IEEE, 2008. [2] Liu, Fei Tony, Ting, Kai Ming and Zhou, Zhi-Hua. “Isolation-based anomaly detection.” ACM Transactions on Knowledge Discovery from Data (TKDD) 6.1 (2012): 3. [3] Mei-Ling Shyu, Shu-Ching Chen, Kanoksri Sarinnapakorn, and LiWu Chang. A novel anomaly detection scheme based on principal component classifier. Technical Report, MIAMI UNIV CORAL GABLES FL DEPT OF ELECTRICAL AND COMPUTER ENGINEERING, 2003.
16. Ансамбли
17. Делим
18. Обучаем
19. Усредняем
21. In [1]: import random In [2]: axes = ['попугаи', 'удавы'] In [3]: random.choice(axes) Out[3]: 'удавы' In [4]: random.uniform(-6.0, 6.0) Out[4]: 3.954197818641566
22. … In [5]: random.choice(axes) Out[5]: 'попугаи' In [6]: random.uniform(-6.0, 3.95) Out[6]: -3.7345546743319455
23. … In [7]: random.choice(axes) Out[7]: 'попугаи' In [8]: random.uniform(-3.73, 6.0) Out[8]: 4.55352143693694
24. … In [9]: random.choice(axes) Out[9]: 'удавы' In [10]: random.uniform(-6.00, -3.73) Out[10]: -0.6572094533790986
25. iTree
26. Isolation Forest [1][2]
27. Isolation Forest [1][2]
29. Глобальные
30. Контекстные
36. Виды задач
37. Виды задач
38. Резюме
39. Котики