Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
Search
toshitanian
January 27, 2017
Technology
0
1.3k
急成長スタートアップのシステムの裏側 / ABEJA Innovation Meetup
toshitanian
January 27, 2017
Tweet
Share
More Decks by toshitanian
See All by toshitanian
エッジデバイスでディープラーニング! AWSを活用したエッジデバイスマネジメントの紹介/ aws-edge-device-deeplearning
toshitanian
1
2.2k
機械学習プラットフォーム でのDocker利用事例 / DevSumiAbeja
toshitanian
1
580
nvidia-jetson-x-deep-learning
toshitanian
0
1.6k
Amazon Kinesis Video Streams × Deep Learning
toshitanian
1
7k
Docker入門 - Ruby on RailsアプリケーションをDockerで動かしてみる - / Introduction to Docker
toshitanian
7
2.9k
Other Decks in Technology
See All in Technology
OTel 公式ドキュメント翻訳 PJ から始めるコミュニティ活動/Community activities starting with the OTel official document translation project
msksgm
0
290
Shadow DOMとセキュリティ - 光と影の境界を探る / Shibuya.XSS techtalk #13
masatokinugawa
0
300
Expertise as a Service via MCP
yodakeisuke
1
150
Kiro Hookを Terraformで検証
ao_inoue
0
130
大規模イベントを支える ABEMA の アーキテクチャ 変遷 2025
nagapad
3
360
AWS表彰プログラムとキャリアについて
naoki_0531
1
130
増え続ける脆弱性に立ち向かう: 事前対策と優先度づけによる 持続可能な脆弱性管理 / Confronting the Rise of Vulnerabilities: Sustainable Management Through Proactive Measures and Prioritization
nttcom
1
210
モバイルゲームの開発を支える基盤の歩み ~再現性のある開発ラインを量産する秘訣~
qualiarts
0
540
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
210
怖くない!GritQLでBiomeプラグインを作ろうよ
pal4de
1
130
クマ×共生 HACKATHON - 熊対策を『特別な行動」から「生活の一部」に -
pharaohkj
0
150
メモ整理が苦手な者による頑張らないObsidian活用術
optim
0
140
Featured
See All Featured
Writing Fast Ruby
sferik
628
62k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
RailsConf 2023
tenderlove
30
1.2k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
GraphQLとの向き合い方2022年版
quramy
49
14k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
990
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
How to train your dragon (web standard)
notwaldorf
96
6.1k
Transcript
ABEJA Innovation Meetup #ABEJAmeetup 2017/01/26 ABEJA, Inc. 河崎 敏弥
• MachineLearning/DeepLearningを使った動画解析エンジン • 実行する上で課題になる事 • ABEJAでのアプローチ 今日話す事 2
自己紹介
河崎 敏弥 @toshitanian ABEJA, Inc. IoT Analytics Division Product Owner
• 創業1年の時にABEJAに参画 • バックエンドエンジニア • クラウド上でシステム構築 • IoTデバイスとのシステム連携 • ここ2年はコンテナ推し
社名# 株式会社ABEJA# 設立# 2012年9月10日# 住所# 東京都港区虎ノ門4-1-20田中山ビル10F# 事業内容# ディープラーニングを活用した# 産業構造変革のサポート#
ABEJA Platform Ecosystem "
Unstructured Data Structured Data Analytics Engine Distributed Deep Learning Unstructured
Data ↓ Structured Data API ABEJA Platform
Video Analytics with Deep Learning
Video Analytics with Deeplearning 9 動画 解析結果
10 動画 解析結果
11
12 ? ? ? ? ? ? ? ? ?
? ? ?
困った… 13
• 大量の計算リソースの管理 • 大量のデータを処理 • スケール可能な解析インフラ • 効率の良い解析タスクの分散方法 • 利用リソースはアプリケーション依存.
CPU?GPU?占有コア数・メモリ量 • アプリケーション管理 • 解析アプリに必要な要件は? • 管理する解析アプリは増加の一途(研究開発によってできる事は増える) ML/DLの実行プラットフォームが考慮すべき事 14
ABEJAでのアプローチ
コンテナ
• Elasticな実行インフラ • 計算リソースが足りなければ勝手に増える • 解析タスクの分散はコンテナのスケジューラにお任せ • クラスタのどこかでコンテナが動いて解析が走っている状態 • CPUとかGPUとか毎の要件毎にリソースプールを作ってる
コンテナ - 実行インフラのスケーリング - 17 計算処理が増えても安心!
• 解析エンジンはDocker Imageとしてパッケージ化 • コンテナ内部の構成を定義 • コンテナへのファイル入力方法と、結果の出力方法を仕様として定義 • 仕様に合っている限りは基盤上で動く •
Docker registoryベースのアプリケーション管理 • アプリ毎のバージョン管理 • アプリ毎のリソース要件を付加 コンテナ - アプリケーション管理 - 18 アプリが増えても安心!
19 イケてるしヤバいエンジニア募集中 ABEJA Wantedly