Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Ideinの紹介 @ DLLab 推論ナイト

Ideinの紹介 @ DLLab 推論ナイト

Koichi Nakamura

August 24, 2018
Tweet

More Decks by Koichi Nakamura

Other Decks in Technology

Transcript

  1. Ideinの概要  目指している事 実世界のあらゆる事象をソフトウェアで扱えるようにする  技術 Deep Learningモデルによる推論の高速化技術  主事業

    Actcast: 実世界センシングプラットフォーム 社名 Idein株式会社 (イデイン) ロゴ 設立日 2015年4月 所在地 神保町 ウェブサイト https://idein.jp ブログ https://blog.idein.jp Twitter IdeinInc
  2. メンバー構成 正社員15人  コンパイラ・高速化 4人  機械学習 3人  サービス開発

    5人  リサーチャー 2人  バックオフィス 1人 アルバイト 15人 人材募集中です! https://idein.jp/career
  3. ベンチマーク  ラズパイでImageNet 1000クラス分類モデルが10fps以上  ResNet-50程度の大きさのCNNでも1秒未満 Pi 3 Pi 0

    MobileNet V2 1.0 224x224 88ms 95ms MobileNet V1 1.0 224x224 115ms 120ms ResNet-50 224x224 660ms (未計測)
  4. しかも  変換後モデルは元のモデルと数学的に等価  32-bit floatのまま  量子化なし  Pruningなし

     従って精度低下なし ✓ 今あるモデルをそのままデバイスに載せることが出来る
  5. プラットフォーム構造 ユーザーの作ったモデルも 配信できる(予定) Devices Algorithms • Person detection • Age/Gender

    classification • Pose estimation • General object detection • Anomaly detection and so on Web Services • Notification • Visualization • Analytics • Storage services and so on 様々モデルを 様々なデバイスに配信し 様々なWebサービスに接続。
  6. SoMがある  SO-DIMM 200pin ソケットに差して利用 SOC 価格 Compute Module 1

    Pi Zeroと同じ $30 Compute Module 3 Pi 3と同じ $30 Compute Module 3 Lite Pi 3と同じ $25 Ideinでも過去に利用
  7. ハードウェアエコシステム  様々なディスプレイ  様々なケース  HAT  様々なセンサー 

    LTE接続  GPS  太陽光発電  などなど Revolution Pi NEC Display Solutions
  8. ラズパイにはGPUが積んである BCM2837 BCM2835 Broadcom BCM2835 Broadcom BCM2837 CPU 1 GHz

    single-core ARM1176JZF-S 1.2 GHz 64-bit quad- core ARM Cortex- A53 GPU Broadcom VideoCore IV 300MHz Memory 512 MB 1GB CPU peak performance 2 Gflops 38.4 Gflops GPU peak performance 28.8 Gflops 28.8 Gflops
  9. Pure-GPU化  弊社史上最も異常な最適化  普通  1 layerずつカーネルを呼び出す  Pure-GPU実装

     1度ioctlを呼び出すと、CNNを全部実行してから戻ってくる  GPU上でコントロールフローを実行する方法を発明
  10. ソフトウェアスタック mlir py-videocore Writing CNN kernels Doing tests and optimization

    qdnn libnn Graph Compiler VC4 NEON AVX/SSE CPU Computation Graph Representation Neural Network API Pure-GPU Code Generation No-runtime Code Generation runtime library Model Converters Designed and Developerd by Deep leaning frameworks