Upgrade to Pro — share decks privately, control downloads, hide ads and more …

急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for toshitanian toshitanian
January 27, 2017
Technology
1.4k
0

急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup

Avatar for toshitanian

toshitanian

January 27, 2017

More Decks by toshitanian

See All by toshitanian
エッジデバイスでディープラーニング！ AWSを活用したエッジデバイスマネジメントの紹介/ aws-edge-device-deeplearning
Avatar for toshitanian toshitanian
1
2.3k
機械学習プラットフォーム でのDocker利用事例 / DevSumiAbeja
Avatar for toshitanian toshitanian
1
630
nvidia-jetson-x-deep-learning
Avatar for toshitanian toshitanian
0
1.7k
Amazon Kinesis Video Streams × Deep Learning
Avatar for toshitanian toshitanian
1
7.2k
Docker入門 - Ruby on RailsアプリケーションをDockerで動かしてみる - / Introduction to Docker
Avatar for toshitanian toshitanian
7
3k

Other Decks in Technology

See All in Technology
20260423_執筆の工夫と裏側 技術書の企画から刊行まで / From the planning to the publication of technical book
Avatar for nash_efp nash_efp
1
350
みんなの「データ活用」を支えるストレージ担当から持ち込むAWS活用/コミュニティー設計TIPS 10選~「作れる」より、「続けられる」設計へ~
Avatar for Yoshiki Fujiwara yoshiki0705
0
230
Contract One Engineering Unit 紹介資料
Avatar for Sansan, Inc. sansan33
PRO
0
16k
"SQLは書けません"から始まる データドリブン
Avatar for kubell kubell_hr
2
470
新メンバーのために、シニアエンジニアが環境を作る時代
Avatar for puku0x puku0x
0
1.1k
Azure PortalなどにみるWebアクセシビリティ
Avatar for tomokusaba tomokusaba
0
390
研究開発部メンバーの働き⽅ / Sansan R&D Profile
Avatar for Sansan, Inc. sansan33
PRO
4
23k
Introduction to Sansan for Engineers / エンジニア向け会社紹介
Avatar for Sansan, Inc. sansan33
PRO
6
74k
AWS DevOps Agentはチームメイトになれるのか？/ Can AWS DevOps Agent become a teammate
Avatar for Masanori Yamaguchi kinunori
6
670
[OpsJAWS 40]リリースしたら終わり、じゃなかった。セキュリティ空白期間をAWS Security Agentで埋める
Avatar for sh_fk2 sh_fk2
3
220
Introduction to Sansan Meishi Maker Development Engineer
Avatar for Sansan, Inc. sansan33
PRO
0
390
え！？初参加で 300冊以上 も頒布！？ これは大成功！そのはずなのに わいの財布は 赤字 の件
Avatar for hellohazime hellohazime
0
160

Featured

See All Featured
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
Avatar for UX Y'all uxyall
0
1.1k
Ruling the World: When Life Gets Gamed
Avatar for Sebastian Deterding codingconduct
0
210
From Legacy to Launchpad: Building Startup-Ready Communities
Avatar for Dug Song dugsong
0
190
Intergalactic Javascript Robots from Outer Space
Avatar for Vicent Martí tanoku
273
27k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
16
1.9k
Reflections from 52 weeks, 52 projects
Avatar for Jefferson Lam jeffersonlam
356
21k
Leveraging Curiosity to Care for An Aging Population
Avatar for Cassini Nazir cassininazir
1
220
Art, The Web, and Tiny UX
Avatar for Lynn Fisher lynnandtonic
304
21k
Lessons Learnt from Crawling 1000+ Websites
Avatar for Charles Meaden charlesmeaden
PRO
1
1.2k
Music & Morning Musume
Avatar for Bryan Veloso bryan
47
7.2k
Scaling GitHub
Avatar for Zach Holman holman
464
140k
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.6k

Transcript

  1. ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥

  2. • MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2

  3. 自己紹介

  4. 河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner

    • 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し

  5. 社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#

  6. ABEJA Platform Ecosystem "

  7. Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured

    Data ↓ Structured Data API ABEJA Platform

  8. Video Analytics with Deep Learning

  9. Video Analytics with Deeplearning 9 動画 解析結果

  10. 10 動画 解析結果

  11. 11

  12. 12 ？ ？ ？ ？ ？ ？ ？ ？ ？

    ？ ？ ？

  13. 困った… 13

  14. • 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存.

    CPU？GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は？ • 管理する解析アプリは増加の一途（研究開発によってできる事は増える） ML/DLの実行プラットフォームが考慮すべき事 14

  15. ABEJAでのアプローチ

  16. コンテナ

  17. • Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる

    コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心！

  18. • 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く •

    Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心！

  19. 19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly