SIX 2019 Keynote for Developer

SIX 2019 Keynote for Developer
Takanori Ogata @ABEJA, Inc.

Transcript

1. DAY 1 “技” Developer Day Copyright © ABEJA, Inc. All rights reserved. 技 特別講演 緒⽅ 貴紀 株式会社ABEJA ڞಉ૑ۀऀ
2. Welcome to SIX2019
3. #abejasix
4. Deep Learning Thought Leadership
5. Diamond Sponsors Platinum Sponsors
6. Gold Sponsors Sliver Sponsors Bronze Sponsors Official Supports :V.BLF
8. “Technopreneurship” テクノプレナーシップ Society Culture Technology Liberal Arts テクノロジーで イノベーションを実現して インパクトのある 社会貢献をする姿勢 リベラルアーツで ⾃らの⾏為を問い 続ける姿勢 Entrepreneurship 両者の円環を推進する原動⼒
9. Society Culture SIX2019 技が共創し、 藝があつまる 技 藝 テクノロジーで イノベーションを実現して インパクトのある 社会貢献をする姿勢 リベラルアーツで ⾃らの⾏為を問い 続ける姿勢 Entrepreneurship 両者の円環を推進する原動⼒
10. Technologyの進化で、すでにDeep Learningは 様々なビジネスに実装可能な状態 [ Gi ] [ Gei ] 技 藝
11. Amazing Evolutions of Deep Learning 2012 2014 2015 2016 2017 2013 2018 10 AlexNet トロント⼤学ヒント ン教授がディープ ラーニングによる画 像認識で10%以上の 精度改善に成功 12 DQN ゲームに対する深層 強化学習の適⽤によ り⼈間の知⾒を与え ること無く有効な戦 略を⾃動的に獲得す ることに成功 2 ResNet ディープラーニン グによる画像認識 で⼈間の精度を凌 駕することに成功 5 BRETT カリフォルニア⼤学 バークレー校が深層 強化学習をロボット 制御に応⽤すること に成功 3 AlphaGO 囲碁のプロ棋⼠ イ・セドルを 破る 10 GAN フォトリアリスティッ ク（写真のような） 画像の⽣成に成功 5 Mask R-CNN Faster R-CNN にセグメンテー ションも追加 Supervised by Hitoshi Matsubara (Vice Chair of Future University Hakodate, Technical Advisors of ABEJA, Inc.)
12. 2019 awsで18min $40でimagenetの 分散学習に成功 単純タスクの モデル⾃動⽣成 類似画像ではない ⾃由な画像の学習 に成功 1 Google Cloud AutoML 8 fast.ai 11 BERT 12 PyTorch 1.0 AlphaFold 1 TensorFlow 2.0 2 GPT-2 9 BigGAN ⾃然⾔語処理において、 教師なしでも強⼒な初 期パラメータが得られ ることを⽰した 教師なしで真に 迫った⽂章の⽣ 成に成功 タンパク質形状を アミノ酸配列から予測 2018 Supervised by Hitoshi Matsubara (Vice Chair of Future University Hakodate, Technical Advisors of ABEJA, Inc.) Amazing Evolutions of Deep Learning
13. fast.ai https://www.fast.ai/2018/08/10/fastai-diu-imagenet/
14. - 512GPU / 3億枚の画像を利⽤ - ⼯夫を凝らした巨⼤化なGANを学習することで⾼精細な画像⽣成が可能に BigGAN Brock, Donahue and Simonyan , ICLR2019
15. BERT - ⼈⼯的に、⽂中の単語の⽳埋め問題、⼆⽂が連続⽂か否かの判定問題を機械的に作成 - 教師なしでも⾮常に強⼒な初期パラメータが得られることを⽰した - ⾃然⾔語理解系タスクにおける事前学習⼿法の新たなデファクトスタンダード - BERT（LARGE）は64TPUにて4⽇間学習 Devlin+, 2018
16. GPT-2 - 800万⽂書の巨⼤かつ多様なデータセットを構築 - ⼈⼯的な問題を作らなくても、巨⼤なTransformerモデルを学習するだけで ϚϧνλεΫͷZero-shot Learningにて⼤幅に精度向上 Radford, Jeffrey+, 2018
17. 新たな応⽤可能性 より⼿軽に、 より⼤規模に より⾼速に BERT AlphaFold GPT-2 BigGAN Fast.ai PyTorch 1.0 TensorFlow 2.0
19. Future
20. PaaS Retail Manufacture Infrastructure Logistics
21. Manufacture Infrastructure Logistics
23. ։ൃ؀ڥ͔Βຊ൪؀ڥ΁ͷҾ͖౉͠ データ、モデル、結果のバージョン管理 冗⻑性やGPUリソースの担保、 エッジ側との連携プロセス構築 ⼤量データの取得に必要なAPIや負担分 散の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと⼈材の準備 データウェアハウス の準備と管理 データのバリエーション（正確性）の確認 0からのモデル設計 GPU環境の準備 と⾼度な分散化 デプロイ後のモデルの挙動を監視し、 必要に応じてモデルをアップデート データ 取得 データ 蓄積 データ 確認 教師 データ 作成 モデル 設計 学習 評価 デプロイ 推論 再学習
24. AI-Ops for your business Maintenance & Operation Model Version Management Algorithm Development Data Management Algorithm Development Resource Management Reduce your tasks, concentrate on your business
25. History of ABEJA Platform 2013年 2015年 2016年12⽉ 2017年9⽉ 2018年2݄ 動画解析・データ解析基盤として開発 Retail向けの⼤規模機械学習基盤としてリニューアル α版 提供開始 β版 提供開始 正式版 提供開始
26. Registration 100 Accounts 600
27. 10 TB, 100,000,000 Objects Datalake Datasets Training Model Inference 1,700,000 Objects 10,000 Jobs, 30,000,000 sec 500 Models, 2000 Versions 4000 Endpoints, 100,000,000 Requests
28. 10+ Features Jupyter Support And more Dataset Preview UI Task Scheduler Shared File System on Training Environment
29. Manufacture Infrastructure Logistics
31. Just uploading your data Upload Data Choose a Template Out Sourcing Private Workers Get Labelled Data
32. Core functions of ABEJA Platform Annotation Task Control QA System Worker Management Projects Management Preset Templates
33. Templates Image Classification Image Segmentation Video Scene Recognition Object Detection Image to Text Audio to Text And more
34. History of ABEJA Platform Annotation 社内ツールの開発、クラウドソーシングのノウハウ蓄積 Annotation Platformとしてのプロトタイプ完成 ABEJA Platformとの連携開始 Annotation BPOサービス開始 正式リリース SegmentationɺVideoɺText Classifyテンプレートのリリース PolygonɺText ExtractionɺVoiceテンプレートのリリース 2015年1⽉ 2016年6⽉ 2017年 2017年12⽉ 2018年2⽉ 2018年9⽉ 2019年2⽉
35. 150 200,000 Templates Projects Annotations 2200 2,000,000 2 10
40. Many applications using ABEJA Platform Annotation services ・顔認証 ・顔の年齢∕性別 ・⼈数カウント ・表情検出 ・ブランド品分類 ・ファッション検出 ・⾃動タグ付け ・⾃動査定 ・バーチャルフィッティング ・キズ検出 ・不良品検出 ・部品分類 ・⾃動運転 ・危険物体認識 ・書類分類 ・⽂字認識 ・料理分類 ・カロリー推定 ・異物検出 ・部屋分類 ・価格⾃動査定 ・ ⾳声認識 ・⾳声の⽂書化 ・⾃動翻訳 ・オペレーションの  可視化 ・オペレーション  マニュアルの⾃動⽣成
41. Manufacture Infrastructure Logistics
43. Operate retail shops scientifically, transcending ‘experience’ and ‘gut feeling’ ABEJA Insight for Retail Integration & Analysis Data Gathered Visualization Action Camera Cloud Dashboard Weekly E-mail Report Image Analysis Utilizing Deep Learning Technology POS Data
45. History of ABEJA Insight for Retail 現在のABEJA Insight for Retailの⼀部機能の原型となる性別年齢 推定システム（ABEJA Demographic）をリリースし初導⼊ リテールテックJAPAN 2015 で公開 ABAJA Dashboard 正式リリース Parco_ya上野に全館導⼊ ABEJA Insight for Retailにリニューアル、ロゴ含めUI全⾯作新 リピート推定プロダクト提供開始 動線分析プロダクト提供開始 2013年7⽉ 2015年3⽉ 2015年10⽉ 2017年11⽉ 2018年3⽉ 2018年5⽉ 2018年9⽉
46. 500 100,000,000 TB/Day Stores Visitors 700 200,000,000 10 40
47. 29% 雑貨 21% 14% 10% 6% 5% 3% 3% 10% アパレル 商業施設 ドラッグ ストア ⾞・バイク 観光 コンビニ ⾷品 その他
48. NEW リピート推定 導線分析
50. 来客⼈数 店前通⾏量 ⼊店率 フロア別来客⼈数 買上率 エリア⽴寄率 来客属性 店前属性 滞在率
51. Manufacture Infrastructure Logistics
52. Future
53. Product Road Map R&D
54. R&D Product Road Map
55. Manufacture Infrastructure Logistics
56. MLaaS Manufacture Infrastructure Logistics
57. NEW
58. ABEJA Platform Accelerator 対象データの アップロード アノテーション AIモデルの作成 評価レポートの取得 ダウンロード
59. ։ൃ؀ڥ͔Βຊ൪؀ڥ΁ͷҾ͖౉͠ データ、モデル、結果のバージョン管理 冗⻑性やGPUリソースの担保、 エッジ側との連携プロセス構築 ⼤量データの取得に必要なAPIや負担分 散の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと⼈材の準備 データウェアハウス の準備と管理 データのバリエーション（正確性）の確認 0からのモデル設計 GPU環境の準備 と⾼度な分散化 લஈͷϓϩηεΛѹ౗తʹޮ཰Խ データ 取得 データ 蓄積 データ 確認 教師 データ 作成 モデル 設計 学習 評価 データ 取得 データ 蓄積 データ 確認 教師 データ 作成 モデル 設計 学習 評価 デプロイ 推論 再学習 デプロイ後のモデルの挙動を監視し、 必要に応じてモデルをアップデート
61. Accelerator SDKͷఏڙ アノテーションの 効率化のための バックエンド利⽤ パートナー企業や ⼤学との連携による アルゴリズムの拡充 研究成果のサービス化 - Few-shot learning - Semi-supervised learning - 検品アルゴリズム - 需要予測アルゴリズム etc.
62. MLaaS Manufacture Infrastructure Logistics
63. Manufacture Infrastructure Logistics MLaaS Product A Product B Product C Product D
64. Manufacture Infrastructure Logistics MLaaS Product A Product B Product C Product D Datalake Datasets Training Inference 確⽴した概念の強化 運⽤サイクルの⾼速化
65. Product Road Map R&D
66. Product Road Map R&D
67. MLaaS Manufacture Infrastructure Logistics Datalake Datasets Training Inference
68. R&D より早く、 より正確に Annotation MLaaS ABEJA Platform より短期間で⼤量に⾼品質なデータを収集可能に より少ないデータで、⾼精度なモデル開発を⽬指す より⼿軽に⼤規模・⼤量の学習を可能にする
69. Annotation - データ収集をAIがアシスト - ⼈の作業や負担を軽減 - より⼤量のデータを⾼品質に収集 より短期間で⼤量に ⾼品質なデータを収集可能に
71. Attention Branch Network: Learning of Attention Mechanism for Visual Explanation Fukui , Hirakawa, Yamashita , Fujiyoshi, CVPR2019 accepted
72. 事前推定機能 ABEJA Platform
 または他の推論環境 推論結果の フィードバック アノテーション時に推論結果が事前表⽰され、 再学習⽤のアノテーションコストが省⼒化
74. MLaaS - Few-shot learning / semi-supervised learning / MAMLなどのアルゴリズム を応⽤ - 短期間で⼤量の問題設定を試すことで、より早く成功への道筋を⾒つけやすく より少ないデータで、 ⾼精度なモデル開発を
75. External Net [Fujimoto, 2018] Task 1 Task 2 13.0 pt. 17.3 pt. y = g(h1 , h2 , h3 , …, hk ; φ)
76. Platform インフラの知識がなくても誰でも⼿軽 に分散学習を可能に - 少ないステップでの分散環境の構築 - Neural Architecture Search / Hyperparameter Optimization より⼿軽に⼤規模・⼤量の 学習を可能に
77. Manufacture Infrastructure Logistics MLaaS Product A Product B Product C Product D Datalake Datasets Training Inference
78. MLaaS Product A Product B Product C Product D Datalake Datasets Training Inference Manufacture Infrastructure Logistics
80. ABECOIN
81. JA + = ABECOIN ABE COIN
82. ⾏動によるマイニング × バーチャルマネー
83. ① 3F展⽰会場内のログインゲートを通過し、ご⾃⾝のアカウ ントに紐づくQRコードを受け取ります。 ② QRコードをご⾃⾝のスマートフォンまたはタブレット等で 読み込みましょう。 ③ 会場内の⾏動に応じて、仮想コイン「ABECOIN」が貯まり ます。どんな場所で、どんなアクションでがゲットできる か、会場内を探しながらお楽しみください。 ④ ABECOINが貯まると、展⽰会場内ABEJAブースにある「取 引所」においてABECOINとABEJAグッズを交換することが できます。ぜひお⽴ち寄りください。 ABEJAデモンストレーション ※ຊମݧܕͷσϞΛ࣮ࢪ͢Δʹ͋ͨΓɺձ৔಺Ͱདྷ৔ऀͷΈͳ͞·ͷإ৘ใΛΧϝϥͰऔಘ͓ͯ͠Γ ·͢ɻإը૾σʔλ͸ղੳޙʹଈ࣌ഁغʢ֓Ͷ਺ඵҎ಺ʣ͞ΕɺσϞҎ֎ͷ༻్Ͱ࢖༻͸͠·ͤ Μɻ ※ը૾औಘʹؔͯ͠͸ɺʮΧϝϥը૾ར׆༻ΨΠυϒοΫver2.0ʯʹଇ࣮ͬͯࢪ͓ͯ͠Γ·͢ɻ ABEJAブースで ABECOINを貯める ヒントも⾒つかる かも!?
84. Why we develop ?
87. Realtime Analysis on Cloud FaceDetector Tracker Similarity Search Clustering Feature DB GPU Clusters on Cloud RTSP Internal API Auth User API App Hosting IoT Data Processor Payment Processor Service Infrastructure
90. In the future…
91. MLaaS Product A Product B Product C Product D Datalake Datasets Training Inference Manufacture Infrastructure Logistics
92. And many sessions
93. ABEJA Platform Workshop
94. Society Culture SIX2019 技が共創し、 藝があつまる 技 藝 テクノロジーで イノベーションを実現して インパクトのある 社会貢献をする姿勢 リベラルアーツで ⾃らの⾏為を問い 続ける姿勢 Entrepreneurship 両者の円環を推進する原動⼒
95. Copyright © ABEJA, Inc. All rights reserved. Enjoy!