Вам стоит использовать Scala в машинном обучении

Transcript

1. Вам стоит использовать Scala для ML! Юрий Артамонов Haulmont
2. Наш план 1. Что за язык 2. Где тут код писать 3. Какие есть библиотеки 2 И где то там про Machine Learning ещё будет
3. Не этот мужик 3
4. Язык программирования акроним от Scalable Language 4
5. История развития • Дизайн языка разработан в 2001 (EPFL) • Автор - Martin Odersky • 2006 - Scala 2.0 • 2011 - Typesafe Inc. (сейчас Lightbend Inc.) 5
6. Кто пользуется этим всем 6
7. Лучше всего подходит для • Big Data • Data Science • Web Applications • Distributed Systems • Concurrency and Parallelism • Scientific Computations: NLP, Numerical Computing, Data Visualization 7
8. Сильная статическая типизация 8 Слабая Сильная Динамическая Статическая
9. Multiplatform • JVM • JavaScript - Scala.js • Native - Scala Native (LLVM based) 9
10. Functional + Object Oriented 1. Высокоуровневый язык сочетающий OOP и FP 2. Краткий синтаксис без мусора 3. Статическая типизация и вывод типов 10
11. Type Inference • Компилятор выводит тип переменных • Тип фиксируется первым присваиванием • IDE это всё понимает! 11
12. Разные штуки • Case Classes • Type Aliases • Implicit Conversions • Extension Methods 12
13. Pattern Matching • Сравнение по образцу - switch на стероидах • Поддерживает деконструкцию • Полезно вместе с case classes 13
14. Concurrency & Asynchronous • Future & Promise • Async / Await • Akka ! • java.util.concurrent 14
15. Scalaz / Tagless Final / ZIO / etc • Scalaz - для пуристов • Неразмеченные Конечные Интепретаторы • ZIO - хитрый и асинхронный IO Это не наш случай! 15 Читать нечитаемый код Писать нечитаемый код
16. Машинное обучение обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться 16
17. Задачи • классификация • кластеризация • регрессия • восстановление плотности распределения • ... 17
19. Инструменты Ну не на листочке же матрицы умножать 19
20. Чернющий REPL > sbt console 20
21. VS Code and Language Server • Scala syntax • sbt plugin • autocompletion Рефакторинг не поддерживается :( 21
22. IntelliJ IDEA + Scala plugin • sbt / Gradle / Maven • Syntax highlighting • Inspections • Refactoring ! • Worksheets 22
23. IntelliJ IDEA Worksheets • Интерактивный REPL • Можно править код • Интегрирован в IDE ! • Доступны все библиотеки и код проекта 23
24. Интерактивные консоли • Apache Zeppelin • Scala Notebook • Spark Notebook • Databricks 24
25. Библиотеки Как нанести непоправимую пользу окружающим 25
26. Akka • Actor model • Concurrency • Parallel computations • Distributed systems 26
27. Breeze NLP • Breeze - linear algebra, numerical computing and optimization • Epic - structured text processor • Puck - GPU powered parser 27
28. ND4J • ND Arrays - multidimensional arrays in memory with flat layout • Off-heap and memory effective • Native libraries interop 28
29. Apache Spark • In-Memory • Big Data Processing • Distributed Computations • DataFrames • Spark SQL 29
30. Spark ML Run ML pipelines on Spark Check ML guides: https://spark.apache.org/docs/1.2.2/ml-guide.html 30
31. Apache PredictionIO • Machine Learning Server • Batch Processing • Real-time • Predefined Models: Clustering, Recommenders, Regression, NLP, ... 31
32. Deeplearning4j • Neural networks - tons of nertworks • Deep learning • Image / Data processing • Optimized performance (OpenBLAS) • GPU supported 32
33. Smile Statistical Machine Intelligence and Learning Engine • Preprocessing • Feature selection • Supervised learning • Unsupervised learning • Reinforcement learning 33
34. Визуализация данных • Breeze-viz • Vegas • Plotly 34
35. Vegas 35
36. Задачка #1 Классификация - Smile Пример: K-nearest neighbours 36
37. Задачка #2 - Cloud Load Balancing Регрессия - Deeplearning4j 37
38. Scala vs Python • Статическая типизация vs динамическая • Сложность vs простота • Продакшен vs прототипы 38
39. Scala 3 coming soon... • Intersection & Union types • Enumerations • Null safety • Opaque types ETA 2020 39
40. Вместо заключения • https://www.scala-exercises.org/ • Functional Programming in Scala (Coursera) • Big Data Analysis with Scala and Spark (Coursera) • Programming Reactive Systems (Edx) 40