Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
分散処理システム(IoT)によるトレーサビリティの向上
Search
neonankiti
March 08, 2022
Technology
0
170
分散処理システム(IoT)によるトレーサビリティの向上
neonankiti
March 08, 2022
Tweet
Share
More Decks by neonankiti
See All by neonankiti
マルチモーダルデータ基盤の課題と観点
neonankiti
1
110
GPTsによるアシスタント業務の改善
neonankiti
3
1.8k
LLM_robustness_and_ops_in_production.pdf
neonankiti
5
2.4k
レストランにおける分散システムの構築と改善.pdf
neonankiti
0
150
外食DXにおけるエンジニアリングデザイン
neonankiti
0
390
Androidにおけるパフォーマンスチューニング実践
neonankiti
8
11k
クライアントサイドから考えるマイクロサービス
neonankiti
0
3k
Elastic Team Building
neonankiti
4
7.4k
Other Decks in Technology
See All in Technology
[FOSS4G 2024 Japan LT] LLMを使ってGISデータ解析を自動化したい!
nssv
1
170
今、始める、第一歩。 / Your first step
yahonda
2
680
GraphRAGを用いたLLMによるパーソナライズド推薦の生成
naveed92
0
190
いざ、BSC討伐の旅
nikinusu
2
600
データの信頼性を支える仕組みと技術
chanyou0311
6
1.6k
AWS Lambdaと歩んだ“サーバーレス”と今後 #lambda_10years
yoshidashingo
1
110
DMARC 対応の話 - MIXI CTO オフィスアワー #04
bbqallstars
1
130
元旅行会社の情シス部員が教えるおすすめなre:Inventへの行き方 / What is the most efficient way to re:Invent
naospon
2
280
SREの組織類型に応じた リーダシップの考察
kenta_hi
PRO
1
620
"君は見ているが観察していない"で考えるインシデントマネジメント
grimoh
4
1k
透過型SMTPプロキシによる送信メールの可観測性向上: Update Edition / Improved observability of outgoing emails with transparent smtp proxy: Update edition
linyows
2
190
Microsoft Intune アプリのトラブルシューティング
sophiakunii
1
400
Featured
See All Featured
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Agile that works and the tools we love
rasmusluckow
327
21k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
GraphQLとの向き合い方2022年版
quramy
43
13k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
810
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Teambox: Starting and Learning
jrom
133
8.8k
Facilitating Awesome Meetings
lara
49
6.1k
Transcript
分散処理システム(IoT)によるトレーサビリティの向上 株式会社フードテックキャピタル CTO 南里勇気
2 自己紹介 南里勇気|取締役兼CTO 慶應義塾大学経済学部卒。在学中から株式会社MEDICAでシステム開発、大手調 剤薬局チェーンと共同研究で論文発表。2015年株式会社FiNCに入社してAndroidチ ームマネージャーとしてアプリ改善、GooglePlayベストオブ2018「自己改善部門」大 賞受賞。同年米国シリコンバレーでFiNC Technologies USオフィスを立上げ。2019年 から中国でハードウェアを開発、テックリードとしてプロダクトをローンチ。2020年6月
Bison Holdingsを創業。
3 会社紹介 外食産業でのDXを促進し、テクノロジーを駆使してこの業界を盛り 上げるべく会社を設立致しました。 2022年現在、日本が誇るべき「食」は100年に一度の危機に立たさ れています。 衣食住の一角をなす「なくてはならない産業」でありながら、DX化 に遅れ、さらにコロナ禍による多大な被害は止まるところを知りま せん。 私たちは、外食産業にテクノロジーを提供する先駆者として、新し
い価値と食の未来を創出していきます。DXの促進が、日本の食文 化を大きく発展させることに繋がり「食の未来」が明るいものに変 わっていくことを確信しています。 Mission テクノロジーで 食の未来をつくる Creating the Future of “Food Service” through Technologies
4 サービス紹介 delico (デリコ) は、複数のデリバリー/テイクアウトプラットフォームサービスの オーダーを一元管理するサービスです。 一枚のタブレットで受注、印字し、売上の管理やメニューの更新などができ、 飲食店のデリバリーにおける、生産性向上と収益増加の両方を実現させることができます。
5 分散処理システム(IoT)によるトレーサビリティの向上 本日のテーマ
6 IoTのトレーサビリティ向上の背景 1. 新たなデータパイプラインのニーズ 2. IoTインフラの普及
7 ✔ネットワークを 通じたクラウド環 境への同期 従来のスマホ/PCによるデータパイプラインで満たせない収集のニーズ をIoTによって解決する。 一方で、収集以外のプロセスは発展途上である。 新たなデータパイプラインのニーズ 収集 蓄積
整形 集約 スマホ/PC IoT 画一的なセンサ ✔多様なセンシ ングシステム ✔大きいメモリ/ ストレージ量 少ないメモリ/ス トレージ量 ✔大きい計算処理 能力とメモリ空間 小さい計算処理能 力とメモリ空間
8 AWS、GCPなどのクラウドコンピ ューティング、また仮想サーバの 拡大による利便性の向上。 クラウド技術の普及 IoTインフラの普及 スマホの大量生産により、部 品の低価格化が進み、安価な IoTデバイスを製品化できるよ うになった。
部品の低価格化 共同体によるIoT推進 http://www.iotac.jp/ IoT推進コンソーシアムなどの共 同体によりIoTの取り組みの知見 共有などが行われた
9 IoTシステムに求められる要件 参照: https://www.researchgate.net/figure/IoT-World-Forum-Reference-Model-22_fig1_343035783
10 • 計算処理系統を持つ独立分散型システム • データの処理(収集から集約)が行える • 環境の認知(システム系を認知出来る) IoTシステムに求められる要件
11 参考) SORACOMのIoTプラットフォーム IoTシステムに必要な機能をレイヤー毎に提供 参照: https://soracom.jp/services/
12 ・正規化 ・API連携 各プロセスにおけるIoTデータパイプラインの特徴とアプローチ ※) 分析→改善プロセスは除く ネットワークを通じた クラウド環境への同 期 IoTデータパイプラインの概観
収集 蓄積 整形 集約 多様なセンシング システム 少ないメモリ/ス トレージ量 小さい計算処理能 力とメモリ空間 ポイント 特徴 ・小型化 ・分散化 ・完全性 ・機密性 ・可用性 ・バッチ処理 ・エラーハンドリン グ
13 • HW(HardWare)の小型化 ◦ スマホ/PCのようなオールインパッケージではなく、収集し たいデータに合わせセンシングシステム(センサ + 処理系 統 +
パッケージ)をHW単位で分割する。 ◦ Input IFは多様なため実現可能 ▪ 物理的/化学的情報を処理する。例) 圧、加速度、 ジャイロ、照度、湿度、ガス、pH etc. • システム系でのセンサの分散化 ◦ センサのOutput IFが標準化されているため、分散したデ ータの収集が可。(データ同期は後述) ◦ ユビキタスコンピューティング的な環境の認知 データ収集とdevOps https://crirc.jp/jigyonaiyou/research/jishu/pdf/project/h29-1.pdf
14 データ蓄積とdevOps • 完全性 ◦ スマホ/PCと比較して、不揮発性メモリへのI/Oはよりセンシティブ。 ◦ マルチスレッド/キューイング処理による整合性の担保。また、メモリ領域が少ないため、データが欠損 しやすいので注意する。 •
機密性 ◦ 脆弱性、認証、フィルタリング、アンチウイルスなど。 ◦ 「IoT 開発におけるセキュリティ設計の手引き」for開発者 • 可用性 ◦ i18n: 特に頻出である「時間」はunixtimeで持つ。 ◦ ファームウェアアップデート機能 ◦ アトミック性の担保 参照: https://www.ipa.go.jp/files/000052459.pdf
15 データ整形とdevOps • クリーニングと正規化 ◦ センサーデータは大量になるため、クリーニングは必ず必要。 ◦ 独自ロジック or ML/DLによるエッジコンピューティングでの正規化
▪ 計算処理的にロースペックであるため、精度とバランスを取る。 • 外部システムへのAPI連携 ◦ スマホ/PCでの利用頻度が高いJSON形式は冗長でデータ量が多くなるため、IoTに適さないこと がある。 ▪ データサイズの上限を設定し、フォーマットを決定する必要がある。 ▪ スペックが低いため、処理速度にも要件を設定する。
16 • バッチ処理(センサー) ◦ センサ毎のデータ同期タイミングは非同期的なので、集約タイミングではバッチ処理を検討し、消費電力 効率を高める。 • エラーハンドリングによる完全性の担保 ◦ SSOT(Single
Source Of Ttruth)に従ったデータ同期の実施。 ▪ IoTデータは消える前提で、同期したデータのタイムスタンプを持ち管理する。 ◦ ネットワークの帯域が低い&メモリのオーバーフローが起きやすいため、エラー時にはレスポンス、リトライ 処理などを入れる。 ◦ エラーコードはデータ容量上、説明的に出来ないためドキュメント整備を整える。 データ集約とdevOps
17 PoseNetを利用したPoseEstimationの例 • PoseNetよる姿勢推定 ◦ 17箇所を特定し、特定の位置を線で結ぶ。 ◦ 出力ストライドにより、速度と精度のトレードオフが起こ る。 •
データ処理(カメラデバイス) ◦ 収集) CameraによるBitmap(RGB)取得 ◦ 蓄積) モデル精度を高める場合。 ▪ スレッド処理、サンプリングが必要 ◦ 整形) クロップ/スケール作業/ヒートマップ処理 ◦ 集約) クラウド上にデータ同期 ▪ バッチ処理 参照) https://medium.com/tensorflow/track-human-poses-in-real-time-on-android-with-tensorflow-lite-e66d0f3e6f9e
18 • ウェアラブルデバイスによるデータ同期 ◦ ウェアラブルデバイスによるアクティビティトラッキング ◦ WiFi、BLEモジュールによる連携 • データ処理(ウェアラブルデバイス) ◦
収集) 加速度、ジャイロ、心拍センサなど ◦ 蓄積) データによりサンプリングレートを調整 ▪ 歩数(数秒)、心拍数(数秒)、睡眠(数分) ◦ 整形) 時系列データとして処理 ▪ パッケージによるがJSON形式は要検討 ▪ 歩数 from, toでデータ範囲を指定(1時間、30分などアプリ仕様で異な る) ◦ 集約) 外部システムにデータ同期 ▪ スマホ or クラウドの二箇所ある ▪ 定期的なバッチ処理(BLEの場合スマホがセントラル) ウェアラブルデバイスの例
19 まとめ • データ収集の多様化によるデータパイプラインの変容 • IoTインフラの普及によるデバイス構築のコストの低減 • IoT devOpsでトレーサビリティを向上させる