Amazon Chronos-Boltで見える未来

Transcript

1. 祝 11/27 11/26リリース！ Amazon Chronos-Boltで見える未来 清水 厚志（Atsushi Shimizu）
2. 2 清水 厚志（Atsushi Shimizu） 株式会社HBA ICTソリューション本部 テクニカルエキスパート 2005年入社（20年目）/ 45歳、3人兄弟の父親 好きなこと • 検索技術とAI コミュニティ歴 • Elasticsearch勉強会（2023/04～） • JAWS-UG（2023/09～） • ChatGPT Community(JP) など 発表は個人の見解に基づくものであり、 所属組織を代表するものではありません。 @shimizuxa 自己紹介 先月から、LangChainを 使うPRJへ参画できた
3. 3 今年の振り返り • 5月、ChatGPT Meetup Tokyo #7 で社外初登壇。お世話になりました。 • 7月、Microsoft Researchが、OSSとして「GraphRAG」を公開。 「GraphRAG」という言葉が、一気に一般的になりましたよね。 • 12/16、Microsoft ResearchよりGraphRAG 1.0がリリース。（下位互換性なし） 使いやすく改良されているとのこと。私もこれからキャッチアップします！
4. 4 今日は、GraphRAGではなく、 これを紹介させて下さい！ （今回もOpenAIと関係なくてすみません・・・）
5. 5 https://github.com/amazon-science/chronos-forecasting
6. 6 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。
7. 7 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。
8. 8 時系列予測モデルとは • 言語モデルのアーキテクチャに基づいて事前学習された、 時系列データの将来予測を推論するモデル 気温や電力消費量、来客数、水位、株価など
9. 9 時系列予測モデルとは https://github.com/amazon-science/chronos-forecasting#-introduction • 言語モデルのアーキテクチャに基づいて事前学習された、 時系列データの将来予測を推論するモデル
10. 10 時系列予測モデルとは • 言語モデルのアーキテクチャに基づいて事前学習された、 時系列データの将来予測を推論するモデル • 従来の予測に必要だった事前学習は不要で、汎用的な データに対して0-Shotで予測が可能 • LLMにおけるプロンプト指示とは異なり、Pythonなどの 関数として実装されている例が多い。 時系列データを渡すと、将来予測が出力される。 気温や電力消費量、来客数、水位、株価など
11. 11 時系列予測モデルとは https://speakerdeck.com/soracom/get-the-future-by-chronos-of-amazons-time-series-fm-ja • AWS Heroのソラコム松下さんが公開くださっている、 JAWS PANKRATION 2024の登壇資料もご参照ください。 元のChronosに 関する内容です
12. 12 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。
13. 13 Chronos-Boltの特徴 • パラメータの規模により、4モデルが公開されている https://github.com/amazon-science/chronos-forecasting#architecture largeは リリースされて いない
14. 14 Chronos-Boltの特徴 • 元モデルに比べて、最大250倍高速に予測できる！ https://aws.amazon.com/jp/blogs/news/machine-learning-fast-and-accurate-zero-shot-forecasting-with-chronos-bolt-and-autogluon/ 元のlargeより 600倍以上高速
15. 15 Chronos-Boltの特徴 • 元モデルより高い予測精度 https://aws.amazon.com/jp/blogs/news/machine-learning-fast-and-accurate-zero-shot-forecasting-with-chronos-bolt-and-autogluon/ 元のlargeより 予測精度が高い
16. 16 Chronos-Boltの特徴 • 論文掲載のより詳しい比較図 Chronos: Learning the Language of Time Series （https://arxiv.org/pdf/2403.07815）
17. 17 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。
18. 18 Chronos-Boltを動かしてみた https://aws.amazon.com/jp/blogs/news/machine-learning-fast-and-accurate-zero-shot-forecasting-with-chronos-bolt-and-autogluon/ • AmazonのBlogにハンズオンがあったので、 PC上で動かしてみました。
19. 19 Chronos-Boltを動かしてみた • 動作させたPCのスペック
20. 20 Chronos-Boltを動かしてみた • ハンズオン① 0-shot予測（電力需要） 点予測と 80％信頼区間 使うのは Bolt Base
21. 21 Chronos-Boltを動かしてみた • ハンズオン② ファインチューニング（電力需要） 過去データを 教師データとして使う 使うのは Bolt Small
22. 22 Chronos-Boltを動かしてみた • ハンズオン② ファインチューニング（電力需要） GPUの利用が推奨 されているが、 CPU環境でも 8分強で完了した 予測精度の 向上が見られた
23. 23 Chronos-Boltを動かしてみた • ハンズオン③ 外部特徴量での補正（販売データ） 使うのは Bolt Small ・CatBoostモデルを covariate_regressor として使用 ・target_scalerも使用 ※正直、チンプンカンプン
24. 24 Chronos-Boltを動かしてみた • ハンズオン③ 外部特徴量での補正（販売データ） 予測精度の 向上が見られた
25. 25 Chronos-Boltまとめ ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。 とても気軽に、かつノーコストでも試せるので、 皆さんも触ってみませんか？