ビッグデータリアルタイム分析ハンズオンセッション

このセッションではアリババクラウドのHologres、Flink、FunctionCompute、PAIやKafkaなどを使い、シミュレートされた車載エンジンの異常をリアルタイムで検知、分析するソリューションを作っていきます。

本セミナーの動画は以下のサイトよりご覧いただけます。
https://www.alibabacloud.com/ja/campaign/asiagateway2021

Transcript

1. リアルタイムビッグデータ処理・分析 Alibaba Cloud International Snr Solutions Architect Data Intelligence Jixin Jia (Gin) ⾞のエンジンの異常を検知するリアルタイムソリューションを作ろう︕
2. ⾃⼰紹介 上海⽣まれ、⽇本育ち(幼少期)、オーストラリアにて16年間留学、就職の経 歴を持つ。アメリカン・エクスプレス、Microsoft、Databricksなどを経て 2014年にデータ分析会社Agile Analyticsをシドニーで創設。現在中国アリバ バクラウドに所属。 ⼤学・⼤学院にて数学、コンピューターサイエンス、MBAを専攻。 分散並列処理アーキテクチャ、機械学習、クラウドソリューション(Azure) 等の分野において15年従事。現在ハーバード⼤後期研究プログラムにて深層 学習コンピュータービジョンを専攻中。 JIA Jixin (Gin)
3. Use Case Introduction シナリオ紹介
4. シナリオ 今回のハンズオン部分では、⾞載OBD Type-IIから取得できるセンサー類のデー タを⼈⼯的に⽣成し、⾞載エンジンの健康状況をリアルタイムで監視、分析するソ リューションを作っていきます x x 事前にエンジン異常の前兆パターンを学習済みのモデルを使って、予兆検知をリア ルタイムで⾏います トルク出⼒ 酸素濃度 TPS クーラント温度 エンジン回転数 GIS
5. リアルタイムデータ処理・分析基盤 実装アーキテクチャ MQ for Kafka 統合データ開発IDE (DataWorks) リアルタイムストリーミング処理 異常検知 (ML) 蓄積と分析 エンドユーザー DataV 可視化 ECSスタック (GPU) Function Compute OSS デプロイ ❶ 疑似的に⽣成されたエンジン データをストリーミングで送信 ❷ ストリーミングデー タを受信 ❹ 処理済みのデータはオブ ジェクトストレージでアーカイブ ❺ 過去データから異常と思われ るパターンを機械学習で学習さ せ、異常予兆検知モデルを展開 ❻ 次世代のHSAP型 情報処理・分析基盤で ⾼度な分析を実⾏ ❼ エンドユーザーへ結果をリアルタ イムで表⽰、意思決定を⽀援する トルク オイル粘度 TPS 温度 回転数 GIS シミュレーションデータ DataWorks RealtimeCompute PAI EAS Hologres (PostgreSQL) PAI Studio・DSW ❸ リアルタイムで データを処理。 異常検知モデルを 使って健康度の判 断をする リアルタイム処理 バッチ作業
6. センサー類データの⽣成 Function Compute Function Computeは、 ちょっとしたプログラムを実⾏す るに便利な、サーバーレス型の マイクロコンピューティングサービ スです。 ハンズオンセッションでは実際に 路上で⾛⾏する⾞両がないた め、Function Computeを 使⽤して、⾞載エンジンのテレ メトリデータを疑似的に⽣成し ます。 シミュレーションには、マルコフ チェーンとさまざまな確率分布 アルゴリズムを使⽤して、現実 により近いデータを⽣成しま す。
7. リアルタイムデータ処理の中継ハブ MQ for Kafka Demo (press F5 to play) Kafkaは、毎秒数⼗億の メッセージが処理可能なパブ リッシャー/サブスクライバーシ ステムです。 今回のハンズオン部分では、 シミュレーションデータの受信 と保持(キューイング)をする⽬ 的でKafkaを使⽤します。 ⼊⼒データをトピックごとに集 約し、サブスクライバーが容易 かつ柔軟にデータを取得でき るミドルウェアとしての働きさせ ます。
8. Realtime Computeとはア リババクラウドが展開してるFlink のクラウドサービスになります。 今回のハンズオンでは、Kafka から取得したデータをストリーミン グで処理することに使います。 処理部分としては、まずKafka のバイナリ型メッセージを構造化 データに解析して、PAI-EASで ホストされてる異常検出モデル を呼び出してエンジンの異常予 兆を判定させます。 処理後のデータはオブジェクトス トレージに格納され、後続の分 析などに使われます。 Realtime Compute (Flink) Demo (press F5 to play) ストリーミング処理とニア・リアルタイムのML推論
9. 異常検知モデルの開発 PAIは、機械学習ソリューションの 開発と運⽤を⽀援するオールイン ワンプラットフォームです。 PAI Studioを使うと、UI型の開 発インターフェースで、ノーコード・ ローコードでMLモデルが作成でき ます。 今回のハンズオン部分ではまず PAI Studioを使い、過去に異常 と判断されるたエンジンデータのパ ターンを学習させ、PAI EAS上で 異常検知モデルをREST APIとし てデプロイ、運⽤します。 Demo (press F5 to play) PAI Studio/PAI EAS
10. 異常検知モデルの運⽤ Demo (press F5 to play) PAIは、機械学習ソリューションの 開発と運⽤を⽀援するオールイン ワンプラットフォームです。 PAI Studioを使うと、UI型の開 発インターフェースで、ノーコード・ ローコードでMLモデルが作成でき ます。 今回のハンズオン部分ではまず PAI Studioを使い、過去に異常 と判断されるたエンジンデータのパ ターンを学習させ、PAI EAS上で 異常検知モデルをREST APIとし てデプロイ、運⽤します。 PAI Studio/PAI EAS
11. HSAP型構造化データ分析 所謂HSAP (ハイブリッド・サービ ング・アナリティカル・プロセス)と 呼ばれる、「読み取り」と「書き込 み」の両⽅に特化した次世代型 分析型データベース。 データの蓄積と分析の基盤を分 けて⽤意する必要がなくなり、⼀ 体型として運⽤が可能になりま した。 今回のハンズオン部分では処理 後のストリーミングデータの最終 保存先として利⽤し、廃スルー プットな⼊⼒に対し、ミリセカンド クラスのレイテンシーで分析を⽀ える基盤として使います。 Hologres
12. インパクトの強いビジュアライゼーション DataVは、情報を美しいインフォグ ラフィックとして視覚的に伝える強⼒ なプレゼンツールです。 DataVを使⽤して分析リザルトやリ アルタイム異常検知の結果をダッ シュボードに表⽰させ、⾞両のエン ジン健康状況の状態をエンドユー ザーに伝えます。 ダッシュボードは5秒ごとに刷新さ れ、ジャストインタイムの洞察を提供 します。 今回のハンズオン部分ではDataV の実装は割愛させて頂きます。 DataV
13. ソースコード 今回ハンズオン部分で使われるソースコードは下記レポジトリより ダウンロード・クローンできます https://github.com/jixjia/realtime-vehicle-engine
14. Letʼs Begin