時系列データ活用の課題を一掃！AWSによる時系列データ解析

2024/06/20(木)のAWS SummitのDevelopers on Live! にて発表した内容のスライドです。

Transcript

1. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. J A P A N | J U N E 2 0 , 2 0 2 4
2. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データ活⽤の課題を⼀掃! AWS による時系列データ解析 Shoji Takano D O L - 1 1 Solutions Architect Amazon Web Service Japan G.K. Hiroki Tsuji Solutions Architect Amazon Web Service Japan G.K.
3. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾼野 翔史 (たかの しょうじ) アマゾンウェブサービスジャパン ソリューションアーキテクト 製造業のお客様を担当 好きなサービス︓ Amazon Timestream ⾃⼰紹介
4. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 辻 浩季 (つじ ひろき) アマゾンウェブサービスジャパン ソリューションアーキテクト 製造業のお客様を担当 好きなサービス︓ Amazon SageMaker ⾃⼰紹介
5. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Agenda l 時系列データのユースケース l 時系列データを扱う上でのよくあるご要望 l 時系列データを扱う AWS サービスの紹介 l まとめ
6. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データのユースケース
7. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データとは 時間経過とともに変化する事象を測定するために、 タイムスタンプとともに記録されたシーケンスデータ 85 86 87 88 89 90 91 92 93 94 95 湿度 % 91.0 94.0 1:00:00 PM 1:15:00 PM 1:30:00 PM 1:45:00 PM timestamp, 測定情報, 属性, 2023-12-08 13:00:00, 91, Tokyo 2023-12-08 13:15:00, 94, Tokyo 2023-12-08 13:30:00, 86, Tokyo ・・・ ・・・ ・・・ ・・・ ・・・ % 湿度 時間 86.0 93.0
8. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データのユースケース IoT applications DevOps analysis App analysis 現状の傾向を知る これから先起きる未来を予測する
9. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データを扱う上での よくあるご要望
10. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データを扱う上でのよくあるご要望 時系列データを 収集する 時系列データを 保管する 時系列データを 分析・可視化する ü ⼤量のデータ書き込み をしたい ü データスキーマ変更に に簡単に対応したい ü ストレージコストを リーズナブルにしたい ü 時系列専⽤の分析機能 を利⽤したい ü 時系列予測の知⾒が なくても予測したい
11. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データを扱う AWS サービスの紹介
12. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データを効率的に扱う AWS サービス Amazon Timestream for LiveAnalytics Amazon SageMaker Autopilot 時系列データを専⽤に扱う サーバレスデータベースサービス データに基づいて最適なモデルを ⾃動的に構築（AutoML）
13. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データを扱う上でのよくあるご要望に対する Timestream と SageMaker の対応範囲 時系列データを 収集する 時系列データを 保管する 時系列データを 分析・可視化する ü ⼤量のデータ書き込み をしたい ü データスキーマ変更に 簡単に対応したい ü ストレージコストを リーズナブルにしたい ü 時系列専⽤の分析機能 を利⽤したい ü 時系列予測の知⾒が なくても予測したい
14. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Timestream for LiveAnalytics アーキテクチャ 容量とパフォーマンス状況に合わせ、個別に⾃動でスケールリング データ挿⼊・ストレージ・クエリプロセシングが分離されたアーキテクチャ構成。 それぞれ独⽴して拡張され、1⽇あたり数兆ものイベントに対応可能。 Amazon Timestream for LiveAnalytics Storage Ingestion endpoint Query processor ⼤量のデータ 書き込みをしたい
15. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. コスト最適化 取り込んだデータ量、保存したデータ量、 クエリする処理時間に応じた利⽤料⾦ インスタンス課⾦型 実際のトラフィック 発⽣したトラフィックに応じた料⾦ 実際のトラフィック ピークを想定した料⾦ Amazon Timestream for LiveAnalytics パフォーマンス要求に応じてコストが 最適化された異なるストレージを提供 Amazon Timestream for LiveAnalytics より⾼速な ストレージ より安価な ストレージ ストレージコストを リーズナブルにしたい
16. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列専⽤のデータモデルと関数 時系列データ指向で、事前にスキーマ定義不要の柔軟な データモデルで、平滑化/近似/補間などの時系列関数を提供 アプリケーション側で複雑な計算ロジックの対応が不要に ü ノイズやその他の微細なポイント、 急激な現象を排除しながらデータの 重要なパターンを算出し、 結果データを返す関数 平滑化関数 補間関数 ü ⽋落している値を補間したデータを 返す関数 補間 補間 時系列専⽤関数 時系列データモデル … … ü タイムスタンプをキーに、属性情報 の付加が柔軟に可能なデータモデル ü パーティションや索引も⾃動管理 timestamp timestamp timestamp timestamp timestamp データスキーマ変更に 簡単に対応したい 時系列専⽤の分析機能 を利⽤したい
17. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列データを扱う上でのよくあるご要望に対する Timestream と SageMaker の対応範囲 時系列データを 収集する 時系列データを 保管する 時系列データを 分析・可視化する ü ⼤量のデータ書き込み をしたい ü データスキーマ変更に 簡単に対応したい ü ストレージコストを リーズナブルにしたい ü 時系列専⽤の分析機能 を利⽤したい ü 時系列予測の知⾒が なくても予測したい
18. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker 必要なリソースを⾃由に組み合わせて学習・推論を実⾏ Amazon SageMaker 使⽤したデータ、 コンテナイメージ、 ソースコードはモデルと 関連付けて⾃動的に記録される 学習データ 実⾏環境 ソースコード Amazon S3 Amazon ECR リポジトリ (Git, CodeCommit, etc.) ジョブ専⽤ インスタンス （処理完了後 ⾃動削除）
19. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon SageMaker Autopilot を⽤いた時系列予測 "AutoMLProblemTypeConfig": { "ForecastFrequency": "D", "ForecastHorizon": 20, "ForecastQuantiles": [‘p10','p30','p50','p70','p90'], "TimeSeriesConfig": { "TargetAttributeName": "demand", "TimestampAttributeName": "timestamp", "ItemIdentifierAttributeName": "item_id" }, • AutoML REST API v2 を呼び出すだけで、時系列予測モデルを作成できる • 6 種類のアルゴリズムにより計算されたモデルからスタッキングアンサンブル法を⽤いて モデル候補を組み合わせて 最適なモデルを⾃動で作成 • API 呼び出し時のリクエストパラメータに予測頻度、予測分位数などの設定を書く ü 多変量時系列予測も可能
20. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ︓ある商品の⽇次の売上個数予測 Amazon SageMaker Jupyter Notebook 環境 AWS Cloud Amazon Timestream Amazon QuickSight AutoML API で 学習を実⾏ 学習 インスタンス 推論 インスタンス 推論を実⾏ 学習モデル 学習⽤データ 推論結果 時系列データを 取得 可視化 時系列データ
21. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ︓ある商品の⽇次の売上個数予測 Amazon SageMaker Jupyter Notebook 環境 AWS Cloud Amazon Timestream Amazon QuickSight AutoML API で 学習を実⾏ 学習 インスタンス 推論 インスタンス 推論を実⾏ 学習モデル 学習⽤データ 推論結果 時系列データを 取得 可視化 時系列データ ある商品において、2021/01/01 – 2024/04/30までの 1 時間毎の売上個数のデータが格納されている
22. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ︓ある商品の⽇次の売上個数予測 Amazon SageMaker Jupyter Notebook 環境 AWS Cloud Amazon Timestream Amazon QuickSight AutoML API で 学習を実⾏ 学習 インスタンス 推論 インスタンス 推論を実⾏ 学習モデル 学習⽤データ 推論結果 時系列データを 取得 可視化 時系列データ クエリを実⾏して 1 時間ごとのデータから ⽇次のデータに変換し、Amazon S3 にデータを格納
23. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ︓ある商品の⽇次の売上個数予測 Amazon SageMaker Jupyter Notebook 環境 AWS Cloud Amazon Timestream Amazon QuickSight AutoML API で 学習を実⾏ 学習 インスタンス 推論 インスタンス 推論を実⾏ 学習モデル 学習⽤データ 推論結果 時系列データを 取得 可視化 時系列データ Amazon SageMaker を⽤いて、 2021/01/01 – 2024/04/23 までの データを使って 2024/04/24 -04/30 の 予測を作成
24. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ︓ある商品の⽇次の売上個数予測 Amazon SageMaker Jupyter Notebook 環境 AWS Cloud Amazon Timestream Amazon QuickSight AutoML API で 学習を実⾏ 学習 インスタンス 推論 インスタンス 推論を実⾏ 学習モデル 学習⽤データ 推論結果 時系列データを 取得 可視化 時系列データ 予測結果を Amazon QuickSight を使って可視化
25. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. デモ︓ある商品の⽇次の売上個数予測 Amazon SageMaker Jupyter Notebook 環境 AWS Cloud Amazon Timestream Amazon QuickSight AutoML API で 学習を実⾏ 学習 インスタンス 推論 インスタンス 推論を実⾏ 学習モデル 学習⽤データ 推論結果 時系列データを 取得 可視化 時系列データ デモの注⽬ポイント • Amazon Timestream でデータをクエリする際、 時系列関数を使って SQL で簡単にデータを集計できる︕ • Amazon SageMaker Autopilot の AutoML API を⽤いて、 API 呼び出しのコードを書くだけで 簡単に時系列予測を実現できる︕
26. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.
27. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. bin 関数 bin(timestamp, interval) → timestamp (時刻) を、指定した interval (例︓1秒、5分、1時間) で切り下げを⾏う。 bin(TIMESTAMP ‘2024-06-20 10:15:20’, 1m) → 2024-06-20 10:15:00.000000000 bin(TIMESTAMP ‘2024-06-20 10:15:20’, 1d) → 2024-06-20 00:00:00.000000000
28. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. bin 関数の使い⽅例 SELECT BIN(time, 1d) AS DAY, measure_name, sum(sales) AS SUM FROM "timeseries_demo_db"."timeseries_demo_table" WHERE measure_name = 'product_a' AND region = 'location_a' GROUP BY BIN(time, 1d), measure_name ORDER BY DAY DAY measure_name SUM 2024-06-20 10:00:00 product_a 10 2024-06-20 11:00:00 product_a 12 2024-06-20 23:00:00 product_a 14 2024-06-21 00:00:00 product_a 15 DAY measure_name SUM 2024-06-20 00:00:00 product_a 10 2024-06-20 00:00:00 product_a 12 2024-06-20 00:00:00 product_a 14 2024-06-21 00:00:00 product_a 15 DAY measure_name SUM 2024-06-20 00:00:00 product_a 160 2024-06-21 00:00:00 product_a 162 … … … … … … … … … … … … … … … 1 ⽇のインターバルで 時刻の切り下げ GROUP BY で データをまとめる
29. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時間 商 品 売 上 個 数
30. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.
31. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.
32. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.
33. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved.
34. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon QuickSight での可視化
35. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon QuickSight での可視化
36. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon QuickSight での可視化 10% の確率で 実際の値が この範囲に⼊る 90% の確率で 実際の値が この範囲に⼊る
37. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃動化することも可能 AWS Cloud Amazon Timestream 学習⽤データ データの格納 を検知 AWS Step Functions 学習を実⾏ 推論を実⾏ SageMaker Autopilot バッチ推論 予測結果
38. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ
39. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ • AWS を利⽤いただくことで、時系列データを効率的に扱うことが可能です。 • Amazon Timestream for LiveAnalytics でスケーラブルにデータ収集し、 コスト効率良くデータを保管でき、時系列専⽤の分析機能を SQL で 利⽤することができます。 • Amazon SageMaker Autopilot で、時系列予測に関する知⾒がなくても、 簡単に精度⾼い時系列予測モデルを構築できます。
40. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 時系列予測デモで使⽤したコンテンツ https://github.com/aws-samples/aws-ml-jp/tree/main/sagemaker/autopilot/timeseries-forecast SageMaker Autopilot を使った 時系列予測ハンズオンコンテンツ
41. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! Shoji Takano tshoj@amazon.co.jp Hiroki Tsuji hitsuji@amazon.co.jp SageMaker Autopilot を使った 時系列予測ハンズオンコンテンツ