Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TensorFlowとGCPの簡単な紹介
Search
Norihiro Shimoda
April 01, 2017
Technology
3
4.4k
TensorFlowとGCPの簡単な紹介
IoT ALGYANでの発表
https://algyan.connpass.com/event/52494/
Norihiro Shimoda
April 01, 2017
Tweet
Share
More Decks by Norihiro Shimoda
See All by Norihiro Shimoda
ぼくのかんがえたさいきょうの機械学習プロジェクト進行法(PoC/デモ編)
rindai87
10
19k
FindYourCandyでの転移学習の話
rindai87
4
15k
Google I/O 報告会(ML)担当
rindai87
3
9.4k
最近のTensorFlowの話
rindai87
1
1.4k
TensorFlowの基礎
rindai87
2
4.3k
TFv1.0の概要+HighLevelAPI/Keras
rindai87
4
2.1k
How should engineers survive during AI era
rindai87
5
27k
Let's stand up against "Do Artificial Intelligence" with proper knowledge
rindai87
6
1.8k
Talk about ML and DL for happy engineer's life
rindai87
40
15k
Other Decks in Technology
See All in Technology
iOSチームとAndroidチームでブランチ運用が違ったので整理してます
sansantech
PRO
0
150
CysharpのOSS群から見るModern C#の現在地
neuecc
2
3.5k
SRE×AIOpsを始めよう!GuardDutyによるお手軽脅威検出
amixedcolor
0
180
AI前提のサービス運用ってなんだろう?
ryuichi1208
8
1.4k
安心してください、日本語使えますよ―Ubuntu日本語Remix提供休止に寄せて― 2024-11-17
nobutomurata
1
1k
TypeScript、上達の瞬間
sadnessojisan
46
13k
OCI Network Firewall 概要
oracle4engineer
PRO
0
4.2k
100 名超が参加した日経グループ横断の競技型 AWS 学習イベント「Nikkei Group AWS GameDay」の紹介/mediajaws202411
nikkei_engineer_recruiting
1
170
エンジニア人生の拡張性を高める 「探索型キャリア設計」の提案
tenshoku_draft
1
130
[CV勉強会@関東 ECCV2024 読み会] オンラインマッピング x トラッキング MapTracker: Tracking with Strided Memory Fusion for Consistent Vector HD Mapping (Chen+, ECCV24)
abemii
0
230
ISUCONに強くなるかもしれない日々の過ごしかた/Findy ISUCON 2024-11-14
fujiwara3
8
870
Platform Engineering for Software Developers and Architects
syntasso
1
520
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
329
21k
Writing Fast Ruby
sferik
627
61k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
24k
Imperfection Machines: The Place of Print at Facebook
scottboms
265
13k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Automating Front-end Workflow
addyosmani
1366
200k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
Designing Experiences People Love
moore
138
23k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
44
2.2k
Transcript
TensorFlowとGCPの話 By Norihiro Shimoda 1
⾃自⼰己紹介 • 下⽥田倫倫⼤大(@rindai87) • データ分析専業の企業のエンジニアマネージャー • TensorFlow User Group(TFUG)主催者 •
最近GDE(Google Developer Expert)のML Expertになりました
本⽇日のAgenda • TFUG(TensorFlow User Group)のご紹介 • TensorFlowのご紹介 • GCPでのデータ分析/機械学習環境のご紹介 3
TFUGのご紹介 by Norhiro Shimoda 4
What is TFUG ? • 分散機械学習フレームワークであるTensorFlow のコミュニティです。 • 2016年年10⽉月に⽴立立ち上がりました。 公開⽤用では顔写真が⼊入ってるので割愛
Meetup • ⽉月に⼀一度度程度度のペースでミートアップイベント を開催しています。 公開⽤用では顔写真が⼊入ってるの で割愛
# of our members 7
地域TFUGも • TFUG AIZU(2016年年末に始動) • TFUG KANSAI(5⽉月始動) • その他も増えるかも。。。? 8
公開⽤用では顔写真が⼊入ってるので割愛
How to join? グループ名:TensorFlow User Group Tokyo イベント情報を管理理しています。 https://tfug-‐‑‒tokyo.connpass.com/ グループ名:TensorFlow
User Group 各種情報交換の場として利利⽤用されています。 https://www.facebook.com/groups/17855923 5921208/
TensorFlow概要 by Norhiro Shimoda 10
TensorFlowとは? • Googleによって2015年年11⽉月に公開されたオー プンソース – Google内部で多数の使⽤用実績があるらしい Google Photo 画像の⾃自動分類 Google
翻訳 翻訳の⾃自動学習 Gmail スパムフィルタ OK Google ⾳音声認識識 11
TensorFlowの歴史
Googleトレンドで⽐比較 13
TensorFlowのモデル 1. 学習モデルをグラフと して定義する 2. 学習を実際にどう⾏行行う かも定義する – 学習の評価⽅方法 –
最適化の⽅方法 – CPU or GPU – スタンドアロン or 分散 3. 定義に従って計算処理理 をデバイス上で実⾏行行さ せる
いろんなデバイスで動きます 15 CPU GPU Android iOS RasberryPi etc…
⽉月刊Interfaceでも特集されてます 16 https://www.amazon.co.jp/dp/B01MQT4OS8
TensorBoardなどのツール
18 きゅうりの規格の⾃自動仕分け From: http://workpiles.com/2016/02/tensorflow-‐cnn-‐cucumber/
空撮写真からの⾞車車両カウント 19 From: http://www.brainpad.co.jp/news/2016/09/02/3454
技術的な部分も もっと知りたいという⽅方は 20 From: https://goo.gl/7cgzwR
ここまでのまとめ • TensorFlowは全世界的に⼤大⼈人気 – Googleが使ってるものが使える! – AlphaGOのインパクト! • TensorFlowに関わる⼈人もいろいろ –
研究で使ってる学⽣生、先⽣生 – 趣味の延⻑⾧長で触っているWeb系開発者 – ディープラーニングを案件として扱う分析外⾞車車 – Android/iOS等のモバイルアプリの開発者 – 組み込み系のハードウェア寄りの開発者 – etc… 21
GCP上の機械学習環境 22
GCPのコンポーネントのアイコン 23 https://goo.gl/WOR5ej
VisionAPIデモ 24 VisionAPIのお試しができます https://goo.gl/HpyrUH
機械学習いけそう!というイメージ 出典:https://cloud.google.com/products/ 超すごいGoogleの ⼈人⼯工知能の要素技術である 機械学習をクラウドで 簡単に使えそうな雰囲気! 25
結果、こういう流流れが できつつあります 26
クラウドで 機械学習のAPI あるじゃない ↓ APIを使ってみる ↓ ビジネスニーズに 微妙にフィットしない ↓ スクラッチでやるしか
↓ 機械学習むずい \(^o^)/ 27
焦ってもすぐに機械学習⾃自体は 理理解できるようなりませんので、 かわりにデータ分析(機械学習 含む)の環境としてのGCPにつ い⾒見見てみましょう 28
データ分析環境の前提 世の中には⾊色んな考え⽅方がありますが、、、 • 分析者が複数⼈人(それなりの数)いる • 分析するテーマがある程度度多岐に及んでいる – 当然、複数⼈人で1つのテーマの分析作業を⾏行行ったりする • 計算リソースが必要な分析も⾏行行う
– ディープラーニングとか ディープラーニング登場以前/以後でも考え⽅方が少 し変わります 29
30 分析環境第1世代 • 各⼈人が⼿手元にそれぞ れの環境を構築する • データもそれぞれが 勝⼿手にとってきて⼿手 元のマシンに置いて いる状態
31 分析環境第2世代 • データソースは⼀一元 化しましょう、とい う流流れ • データを加⼯工するた めのDWHも導⼊入しま しょう、となりがち
32 分析環境第3世代 • そろそろ開発環境も 揃えたい、となって くる – 皆で作業分担するには 同じ環境じゃないとね 的な
• ⼿手順書⽤用意したり、 VM配ったり、 Dockerを導⼊入したり
ディープラーニング登場以後 ここまではディープラーニング登場以前の話でした。 ディープラーニングにはGPUが⽋欠かせませんので、 1. クラウドのGPU環境を使う – まだ黎黎明期のため、少々お⾼高い印象 – もちろんこっちでも良良い 2.
オンプレでGPU環境を使う – 実験的に導⼊入するのであれば、ビデオカード分への投 資(⾼高々数万〜~⼗十数万円規模)でトライできる サービスに使う前のお試しの場合は2を選んでいる ⼈人(会社)が多い印象 33
34 分析環境第4世代 GPUのリソースは 限られているので 共⽤用の環境となる
問題1:クソクエリ問題 • みんなが同時にDWHを叩くと⼤大抵クソクエリが 発⽣生して、DWH管理理者と、作業しようとしてい た⼈人が影響を受けてしまいます 35 DWH管理理者 作業したかった⼈人 クソクエリに やられたDWH
問題点2:GPU借りまーす問題 • GPUを共⽤用で使うので、「借りまーす」「返し まーす」というやり取りが始まる • ⼀一度度借りるとなかなか返せない • 使いたい時はだいたい重なる 36
つまり分析環境には何が必要か? • 無尽蔵で可⽤用性がある安価なストレージ • 前処理理のための⾼高性能かつ⼿手がかからないDWH • 計算リソース – 特にディープラーニングならGPUインスタンス •
共通の作業環境を提供できる仕組み – AMIとか、コンテナとか、デプロイの⾃自動化とか 37
進⾏行行の都合上 おもむろにコマンドを 叩きます 38 $ jupyter notebook $ datalab create
datalab-‐‑‒test
揃ってますよ、GCPならね 対応するものがちゃんと揃ってます。 • ストレージ:Google Cloud Storage(GCS) • DWH:BigQuery • 計算リソース:Google
Compute Engine(GCE) 39 この中で他のクラウドと⽐比較して特筆すべきは BigQueryですが、本⽇日の本論論ではないので 別の資料料などを参照してください
Cloud Datalab • JupyterをベースとしたGCP特化の分析環境 – Jupyterはデータサイエンティストに⼈人気のある notebookという形態のブラウザで作業できる分析環境 • Dockerイメージと周辺便便利利ツールの集合体 –
Githubで公開されている(https://goo.gl/aEefim) • 発表から⻑⾧長らくBetaだったが、最近GAになった 40 From: https://cloud.google.com/datalab/
Cloud Datalabの仕組み 41 GCE (instance) GCE (disk) ①GCEにインスタンスを⽴立立てる 永続化⽤用にディスクも付ける ネットワーク周りも設定
Cloud Datalabの仕組み 42 GCE (instance) GCE (disk) datalab (docker) ②DatalabのDocker
imageを 起動させる
Cloud Datalabの仕組み 43 GCE (instance) GCE (disk) GCS datalab (docker)
③GCSにバックアップも作られる
Cloud Datalabの仕組み 44 GCE (instance) GCE (disk) GCS datalab (docker)
BigQuery ④datalabからBigQueryが使える
Cloud Datalabの仕組み 45 GCE (instance) GCE (disk) GCS datalab (docker)
BigQuery ⑤GCEのインスタンスのスペックは上げ下げできる
46
47 ???
Cloud Datalabの仕組み 48 GCE (instance) GCE (disk) GCS datalab (docker)
BigQuery CloudML Engine ⑥CloudML Engineも使える
Cloud ML Engineとは? • マネージドでスケーラブルな機械学習サービス – ??? • TensorFlowの動作環境をオンデマンドで提供 –
distributedなTensorFlowも動かせる – GPUでのTensorFlowも動かせる • ⼤大規模にTensorFlowを使いたい時は⾮非常にあり がたいサービス – 逆に⼩小規模に試したいよってレベルだとあまり必要 ないかも。。。 49
Cloud Datalabで全てうまく いきそう!いい感じ! とうまくいかないのが 世の常でして。。。 50
惜しいよDatalab! • DatalabはGPUインスタンスに対応していませ ん。。。 • Pythonは2系のみ。。。 引き続き注⽬目です 51
詳しい話はQiitaにあげてます 52 From: https://goo.gl/VncKTa
とはいえGCPは⾯面⽩白い • 時間の都合で話しきれませんが、Google内部で 使われているテクノロジーがクラウドサービス として使えるようにしたものが多いので、⼤大変 ⾯面⽩白いサービスが多いです。 • データ分析周りで⾔言うと、、、 – Cloud
DataFlow – Cloud BigTable – Cloud Spanner – Cloud Dataprep などが個⼈人的には⾮非常に⾯面⽩白そうです。 53
本⽇日のまとめ • TensorFlowは世界中で注⽬目されています – 気になったらTFUGにジョインしましょう! • GCPもここ最近で⼀一気に⾯面⽩白くなっています – 気になったらGCPUGにジョインしましょう! 54
55 Thank You!