Keras com Tensorflow: Produtivo, amigável e modular

Overview sobre o Keras e como iniciar o uso do framework.

Transcript

1. com Tensorflow Jeziel Lago Produtivo, amigável e modular
2. 2 jeziellago • Entusiasta de Machine Learning • Computer Vision Expert Nanodegree (Udacity) • Mestrado em Computação Aplicada (em curso) ◦ Classificação de imagens histopatológicas com DL • Machine Learning em apps Android Jeziel Lago
3. Roteiro 4 Callbacks 3 Construindo e treinando modelos Por quê usar Keras? 2 1 Keras: “A biblioteca de deep learning do Python” 5 Keras Applications
4. Keras: “A biblioteca de deep learning do Python” • API de redes neurais de alto nível • Permite prototipação rápida • Suporta CNN e RNN • Roda em CPU e GPU • Compatível com Python 2.7-3.6 François Chollet
5. Por quê usar Keras?
6. Keras prioriza a experiência do desenvolvedor “Keras é uma API desenvolvida para seres humanos, e não máquinas” • Fácil de aprender • Simplifica casos de uso comuns • Feedbacks mais claros em casos de erros • Integra nativamente com o Tensorflow
7. Keras tem ampla adoção na indústria e na comunidade de pesquisa Deep learning frameworks ranking computed by Jeff Hale, based on 11 data sources across 7 categories
8. Viabiliza a transformação de modelos em produtos Deploy e execução do seu modelo em: • iOS, com o Core ML da Apple • Android, com o Tensorflow Lite / ML Kit • Browser, com o JavaScript (Keras.js / WebDNN) • Google Cloud, via Tensorflow-Serving • Python web backend como um app Flask • JVM, com o DL4J (SkyMind) • Raspberry Pi
9. Portabilidade entre diversos backends e ambientes • Tensorflow backend (Google) • CNTK backend (Microsoft) • Theano backend • NVIDIA GPUs • Google TPUs • OpenCL
10. Desenvolvimento apoiado por grandes players de DL • Google - tensorflow.keras • Microsoft - CNTK backend • Amazon AWS - fork do Keras com suporte a MXNet • Uber e Apple - Core ML • NVIDIA
11. Construindo e Treinando Modelos
12. Por onde começar from tensorflow import keras pip install keras Instalar o Tensorflow import keras ou 1. 2.
13. Construindo e treinando um modelo Compilar Definir a arquitetura Treinar Avaliar Salvar o modelo
14. Construindo e treinando um modelo Compilar Definir a arquitetura Treinar Avaliar Salvar o modelo
15. Modelos Sequenciais from keras.models import Sequential . ... Camada 1 Camada 2 Camada 3 Modelo from keras.layers import * É uma pilha de camadas
16. Modelos Sequenciais - Layers from keras.layers import Dense from keras.layers import Activation from keras.layers import Dropout from keras.layers import Input from keras.layers import Flatten from keras.layers import Conv2D from keras.layers import Conv3D from keras.layers import MaxPooling2D from keras.layers import RNN from keras.layers import LSTM from keras.layers import *
17. Modelos Sequenciais - Exemplo 1 - [inputs] from keras.models import Sequential from keras.layers import Dense model = Sequential() model.add(Dense(32, input_dim=128) model = Sequential() model.add(Dense(32, input_shape=(128,)) ou
18. Modelos Sequenciais - Exemplo 2 - [activation] from keras.models import Sequential from keras.layers import Dense model = Sequential() model.add(Dense(32, activation='relu') model.add(Dense(1, activation='sigmoid')
19. Modelos Sequenciais - Exemplo 3 [keras.layers.Activation] from keras.models import Sequential from keras.layers import Dense, Activation model = Sequential() model.add(Dense(32, input_dim=128)) model.add(Activation('relu')) model.add(Dense(2)) model.add(Activation('softmax'))
20. Modelos Sequenciais - Exemplo 4 [construtor] from keras.models import Sequential from keras.layers import Dense, Activation model = Sequential([ Dense(32, input_shape=(128,)), Activation('relu'), Dense(2), Activation('softmax'), ])
21. Modelo Funcional from keras.models import Model input layer_1 layer_5 Modelo output_main layer_2 layer_3 layer_4 output_aux input_aux
22. Modelo Funcional from keras.models import Model from keras.layers import Input, Dense # camada de input inputs = Input(shape=(784,)) x = Dense(64, activation='relu')(inputs) x = Dense(64, activation='relu')(x) predictions = Dense(10, activation='softmax')(x) # cria o modelo com as camadas definidas acima model = Model(inputs=inputs, outputs=predictions)
23. Construindo e treinando um modelo Compilar Definir a arquitetura Treinar Avaliar Salvar o modelo
24. Compilando o modelo Otimizador + Função de perda + Métricas Adam RMSProp SGD Adagrad Accuracy Custom ... Binary Cross Entropy Categorical Cross Entropy MSE model.compile(...)
25. Compilando o modelo [optimizer] adam_optimizer = Adam(lr=0.001) model.compile(optimizer=adam_optimizer, loss='binary_crossentropy', metrics=['accuracy']) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) ou from keras.optimizers import Adam
26. Compilando o modelo [loss] # classificador binário model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) # classificador multiclasse model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # mean squared error model.compile(optimizer='adam', loss='mse', metrics=['accuracy'])
27. Construindo e treinando um modelo Compilar Definir a arquitetura Treinar Avaliar Salvar o modelo
28. Treinando o modelo # ‘validation_data’ não é obrigatório model.fit(train_X, train_labels, epochs=10, batch_size=128, validation_data=(validation_X, validation_labels))
29. Construindo e treinando um modelo Compilar Definir a arquitetura Treinar Avaliar Salvar o modelo
30. Avaliando o modelo scores = model.evaluate(test_X, test_labels) test_loss = scores['loss'] test_accur = scores['acc'] prediction = model.predict(test_X)
31. Construindo e treinando um modelo Compilar Definir a arquitetura Treinar Avaliar Salvar o modelo
32. Salvando o modelo treinado model.save('my_model.h5')
33. Carregando um modelo salvo from keras.models import load_model model = load_model('my_model.h5') # use o modelo salvo para fazer predições prediction = model.predict(my_data)
34. Callbacks
35. Keras Callbacks “Conjunto de funções aplicadas em determinados estágios do treinamento.” • History • ModelCheckPoint • EarlyStopping • TensorBoard • ...
36. Keras Callbacks: History hist_train = model.fit(train_X,train_labels,epochs=10,batch_size=128, validation_data=(validation_X, validation_labels)) # acurácia e perda de treino loss_train = hist_train.history['loss'] acc_train = hist_train.history['acc'] # acurácia e perda de validação loss_valid = hist_train.history['val_loss'] acc_valid = hist_train.history['val_acc']
37. Keras Callbacks: ModelCheckpoint model_ckpt = ModelCheckpoint('my_ckpt.hdf5', monitor='val_loss') model.fit(train_X, train_labels, epochs=10, batch_size=128, callbacks=[model_ckpt]) from keras.callbacks import ModelCheckpoint
38. Keras Callbacks: EarlyStopping early_stop = EarlyStopping(monitor='val_loss', patience=10) model.fit(train_X, train_labels, epochs=10, batch_size=128, callbacks=[early_stop]) from keras.callbacks import EarlyStopping
39. Keras Callbacks: TensorBoard tensorboard = TensorBoard(log_dir='./my_logs', histogram_freq=10) model.fit(train_X, train_labels, epochs=10, batch_size=128, callbacks=[tensorboard]) $ tensorboard --logdir=my_logs from keras.callbacks import TensorBoard
41. Keras Applications
42. Keras Applications Modelos treinados na ‘ImageNet’, disponíveis no Keras. • Xception • VGG16 • VGG19 • ResNet50 • InceptionV3 • InceptionResNetV2 • MobileNet • DenseNet • NASNet • MobileNetV2 from keras.applications import *
44. Obrigado!
45. REFERÊNCIAS https://keras.io https://www.tensorflow.org/guide/keras https://machinelearningmastery.com/ https://blog.keras.io/keras-as-a-simplified-interface-to-ten sorflow-tutorial.html