Rosbag search system

making of data search platform for rosbag

Transcript

1. まだRosbagで消耗してるの？ Rosbag検索システムを作る 2021/10/06 shibui yusuke 1
2. 自己紹介 shibui yusuke • ティアフォーでよろず屋兼イベント係 • MLOpsコミュニティのオーガナイザー • もともとクラウド基盤の開発、運用。 • ここ5年くらいMLOpsで仕事。 • Github: @shibuiwilliam • Qiita: @cvusk • FB: yusuke.shibui • 最近やってること: Golangとデータ分析とBI cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
3. 10/14（木）MLOps勉強会~Edge AIとロボティクス~ • OUXT Polaris 片岡様 ロボットシステムの開発と運用、本番で一 発完動するロボットシステムのために • メルカリ 大嶋様 モバイルにおけるEdgeAI実装とその評価 3 イベントQRコード Twitter公式アカウント
4. 今日話すこと • Rosbagを検索するシステムを作った話 4
5. 自動運転の 開発サイクルを作る ~データ編~ 5
6. 課題解決を導くライフサイクルを設計する • 課題 • 制約条件 • 成功の定義 データ収集 データ分析 データ生成 学習 評価 実用化 ビルド 実装 6
7. 課題解決を導くライフサイクルを設計する • 課題 路上で信号機を検知し、正確に認識する 必要がある。 • 制約条件 計算リソースに制限がある。 全国のデータを得ることはできない。 • 成功の定義 **m手前から信号機の位置と色を **%正確に認識できる。 データ収集 データ分析 データ生成 学習 評価 実用化 ビルド 実装 デ ー タ の 収 集 アノテーション 実験 抽出、選択 整理 ETL モデル開発 テスト、分析 不足 データの 収集 実践 7
8. ライフサイクルに必要なリソースを実現する データ収集 データ分析 データ生成 学習 評価 実用化 ビルド 実装 デ ー タ の 収 集 アノテーション 実験 抽出、選択 整理 ETL モデル開発 テスト、分析 不足 データの 収集 実践 クラウド データ基盤 データ検索 アノテータ 学習基盤 分析・CI/CD 組み込み センサー 自動車 モデル管理 8
9. データ検索 9
10. データに依存する課題を定義する 夜 夕方 逆光 影 バック 雨粒 暗がり 雪 大通り 周囲にビル 出入り口 青空 直線 10
11. データ課題を解決するために基盤と検索を整備する PROJECT - id - project_name - description WEATHER - id - weather_name - place_id - start_time - end_time OBJECT - image_id - people - cars - bicycles - buses - traffic_lights DARKNESS - image_id - darkness - brightness PLACE - id - country - prefecture - city IMAGE - id - file_name - recorded_time - project_id - place_id - latitude - longitude 11
12. データ検索の仕組み 12 フロントエンド Web API データ 自動車 データ抽出ジョブ
13. 検索 13
14. まとめ 14
15. MLOps エンジニア https://herp.careers/v1/tier4/zHA-dVY6ORa4 • 2Dや3Dの物体検出モデル開発および基盤開発 • KubernetesおよびAWSインフラの構築、運用 • Deep Learningのモデル最適化および推論器開発 • Deep LearningのためのシミュレーションとCI/CD • データパイプライン、データ基盤、検索 • データ、機械学習、基盤を軸に フルスタックに活躍！ データ基盤 検索 アノテータ 学習基盤 評価 組み込み 実験 実証 モデル管理 CI/CD 分析 MLOps
16. 本を出版しました！ • AIエンジニアのための機械学習システムデザインパターン • 2021年5月17日出版 • https://www.amazon.co.jp/dp/4798169447/ • Amazon.co.jp ◦ 情報学・情報科学部門　 1位！ ◦ 人工知能部門　1位！ ◦ 増刷決定！ • 中国語版と韓国語訳も出るらしい！ 16