Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Вам стоит использовать Scala в машинном обучении
Search
Yuriy Artamonov
June 08, 2019
Programming
0
100
Вам стоит использовать Scala в машинном обучении
Yuriy Artamonov
June 08, 2019
Tweet
Share
More Decks by Yuriy Artamonov
See All by Yuriy Artamonov
Survival Tips on Project Reactor and Spring WebFlux
jreznot
0
28
Intellij IDEA Plugins Crash Course
jreznot
0
41
How IntelliJ IDEA Performance Improved: Past, Present, and Future
jreznot
0
20
Look ma - No Indexing!
jreznot
0
23
Как улучшить жизнь команды в IDE и с чего начать
jreznot
0
150
Modern UI Test Automation with Selenium Libraries
jreznot
2
3.1k
IDE в помощь специалисту по тестированию
jreznot
0
66
Мигрируй это!
jreznot
0
89
How We Support New Technologies, Languages, and Frameworks in IntelliJ IDEA
jreznot
0
260
Other Decks in Programming
See All in Programming
PHP 8.4の新機能「プロパティフック」から学ぶオブジェクト指向設計とリスコフの置換原則
kentaroutakeda
2
740
ruby.wasmで多人数リアルタイム通信ゲームを作ろう
lnit
3
400
データの民主化を支える、透明性のあるデータ利活用への挑戦 2025-06-25 Database Engineering Meetup#7
y_ken
0
340
A2A プロトコルを試してみる
azukiazusa1
2
1.3k
WebViewの現在地 - SwiftUI時代のWebKit - / The Current State Of WebView
marcy731
0
110
PHPでWebSocketサーバーを実装しよう2025
kubotak
0
260
Goで作る、開発・CI環境
sin392
0
200
5つのアンチパターンから学ぶLT設計
narihara
1
150
スタートアップの急成長を支えるプラットフォームエンジニアリングと組織戦略
sutochin26
0
2.8k
PHPで始める振る舞い駆動開発(Behaviour-Driven Development)
ohmori_yusuke
2
260
プロダクト志向ってなんなんだろうね
righttouch
PRO
0
180
deno-redisの紹介とJSRパッケージの運用について (toranoana.deno #21)
uki00a
0
180
Featured
See All Featured
Balancing Empowerment & Direction
lara
1
400
A designer walks into a library…
pauljervisheath
207
24k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
The World Runs on Bad Software
bkeepers
PRO
69
11k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Designing for humans not robots
tammielis
253
25k
Rails Girls Zürich Keynote
gr2m
94
14k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Transcript
Вам стоит использовать Scala для ML! Юрий Артамонов Haulmont
Наш план 1. Что за язык 2. Где тут код
писать 3. Какие есть библиотеки 2 И где то там про Machine Learning ещё будет
Не этот мужик 3
Язык программирования акроним от Scalable Language 4
История развития • Дизайн языка разработан в 2001 (EPFL) •
Автор - Martin Odersky • 2006 - Scala 2.0 • 2011 - Typesafe Inc. (сейчас Lightbend Inc.) 5
Кто пользуется этим всем 6
Лучше всего подходит для • Big Data • Data Science
• Web Applications • Distributed Systems • Concurrency and Parallelism • Scientific Computations: NLP, Numerical Computing, Data Visualization 7
Сильная статическая типизация 8 Слабая Сильная Динамическая Статическая
Multiplatform • JVM • JavaScript - Scala.js • Native -
Scala Native (LLVM based) 9
Functional + Object Oriented 1. Высокоуровневый язык сочетающий OOP и
FP 2. Краткий синтаксис без мусора 3. Статическая типизация и вывод типов 10
Type Inference • Компилятор выводит тип переменных • Тип фиксируется
первым присваиванием • IDE это всё понимает! 11
Разные штуки • Case Classes • Type Aliases • Implicit
Conversions • Extension Methods 12
Pattern Matching • Сравнение по образцу - switch на стероидах
• Поддерживает деконструкцию • Полезно вместе с case classes 13
Concurrency & Asynchronous • Future & Promise • Async /
Await • Akka ! • java.util.concurrent 14
Scalaz / Tagless Final / ZIO / etc • Scalaz
- для пуристов • Неразмеченные Конечные Интепретаторы • ZIO - хитрый и асинхронный IO Это не наш случай! 15 Читать нечитаемый код Писать нечитаемый код
Машинное обучение обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов,
способных обучаться 16
Задачи • классификация • кластеризация • регрессия • восстановление плотности
распределения • ... 17
18
Инструменты Ну не на листочке же матрицы умножать 19
Чернющий REPL > sbt console 20
VS Code and Language Server • Scala syntax • sbt
plugin • autocompletion Рефакторинг не поддерживается :( 21
IntelliJ IDEA + Scala plugin • sbt / Gradle /
Maven • Syntax highlighting • Inspections • Refactoring ! • Worksheets 22
IntelliJ IDEA Worksheets • Интерактивный REPL • Можно править код
• Интегрирован в IDE ! • Доступны все библиотеки и код проекта 23
Интерактивные консоли • Apache Zeppelin • Scala Notebook • Spark
Notebook • Databricks 24
Библиотеки Как нанести непоправимую пользу окружающим 25
Akka • Actor model • Concurrency • Parallel computations •
Distributed systems 26
Breeze NLP • Breeze - linear algebra, numerical computing and
optimization • Epic - structured text processor • Puck - GPU powered parser 27
ND4J • ND Arrays - multidimensional arrays in memory with
flat layout • Off-heap and memory effective • Native libraries interop 28
Apache Spark • In-Memory • Big Data Processing • Distributed
Computations • DataFrames • Spark SQL 29
Spark ML Run ML pipelines on Spark Check ML guides:
https://spark.apache.org/docs/1.2.2/ml-guide.html 30
Apache PredictionIO • Machine Learning Server • Batch Processing •
Real-time • Predefined Models: Clustering, Recommenders, Regression, NLP, ... 31
Deeplearning4j • Neural networks - tons of nertworks • Deep
learning • Image / Data processing • Optimized performance (OpenBLAS) • GPU supported 32
Smile Statistical Machine Intelligence and Learning Engine • Preprocessing •
Feature selection • Supervised learning • Unsupervised learning • Reinforcement learning 33
Визуализация данных • Breeze-viz • Vegas • Plotly 34
Vegas 35
Задачка #1 Классификация - Smile Пример: K-nearest neighbours 36
Задачка #2 - Cloud Load Balancing Регрессия - Deeplearning4j 37
Scala vs Python • Статическая типизация vs динамическая • Сложность
vs простота • Продакшен vs прототипы 38
Scala 3 coming soon... • Intersection & Union types •
Enumerations • Null safety • Opaque types ETA 2020 39
Вместо заключения • https://www.scala-exercises.org/ • Functional Programming in Scala (Coursera)
• Big Data Analysis with Scala and Spark (Coursera) • Programming Reactive Systems (Edx) 40