Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
re:Invent 2023 機械学習、アナリティクス系 "推し" アップデート紹介
Search
nakamura.shogo
December 08, 2023
Programming
0
1.3k
re:Invent 2023 機械学習、アナリティクス系 "推し" アップデート紹介
nakamura.shogo
December 08, 2023
Tweet
Share
More Decks by nakamura.shogo
See All by nakamura.shogo
脱ブラックボックス化!LLMと一緒に使われるLangChainやLlamaIndexを徹底解説
cmnakamurashogo
10
13k
Amazon Lookout for Visionで 筆跡鑑定してみた
cmnakamurashogo
0
12k
Other Decks in Programming
See All in Programming
Go製Webアプリケーションのエラーとの向き合い方大全、あるいはやっぱりスタックトレース欲しいやん / Kyoto.go #50
utgwkk
6
1.7k
MetricKitで予期せぬ終了を検知する話 / Detect unexpected termination with MetricKit
nekowen
1
200
TCAとKMPを用いた新規動画配信アプリ 「ABEMA Live」の設計
tomu28
2
130
Git Lint
bkuhlmann
4
760
Next.js App Router
quramy
11
1.6k
Git Rebase
bkuhlmann
11
1.6k
Compose-View Interop in Practice (mDevCamp 2024)
stewemetal
0
160
DMMプラットフォームがTiDB Cloudを採用した背景
pospome
9
4.2k
FigmaとPHPで作る1ミリたりとも表示崩れしない最強の帳票印刷ソリューション
ttskch
43
19k
Scalable Customer Journey Orchestration (CJO)
lewuathe
0
410
雑に思考を整理する技術と効能
konifar
63
30k
Behind VS Code Extensions for JavaScript / TypeScript Linnting and Formatting
unvalley
6
1.1k
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Docker and Python
trallard
35
2.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
126
32k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
The Cult of Friendly URLs
andyhume
74
5.7k
Stop Working from a Prison Cell
hatefulcrawdad
267
19k
Optimizing for Happiness
mojombo
370
69k
Design by the Numbers
sachag
274
18k
Code Reviewing Like a Champion
maltzj
515
39k
StorybookのUI Testing Handbookを読んだ
zakiyama
13
4.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Transcript
機械学習、アナリティクス系 "推し"アップデート紹介 1
中村祥吾 データアナリティクス事業本部 インテグレーション部 機械学習チーム ・普段は機械学習メイン ・re:Invent2023 現地未参加勢 ・キーノートは夜更かし参加 ・今朝HHKB Studioを購入したところ
2 NO IMAGE 自己紹介
3 ブログ Amazon Q (New!!) https://dev.classmethod.jp/articles/update-reinvent2023- amazon-q-summary/ Amazon Bedrock (Update!!)
https://dev.classmethod.jp/articles/update-reinvent2023- bedrock-summary/ Amazon SageMaker (Update!!) https://dev.classmethod.jp/articles/update-reinvent2023- sagemaker-summary/ re:Invent2023のAIMLまとめ、書いてます。
AI / ML アップデート
5 Generative AI Stack
6 Amazon Q(概要) AWS製の生成AI搭載アシスタントがプレビューとして発表 3種類に大別できる ・Amazon Q (For AWS Builder
Use) マネコンの, トラブルシューティング, IDE連携, Javaアップグレード, etc ・Amazon Q (For Business Use) 独自データでアシスタントをカスタムしたりする場合はコチラ ・Amazon Q in {他のサービス} in Connect, in QuickSight, その他, Builder Useに含まれるものも
7 Q in {他のサービス}を集めてみた Amazon Q(推しアプデ) Q in Reachability Analyzer
VPC Reachability Analyzerと連携することでネットワークに関する問題のトラブルシューティングができます。 Q in Amazon CodeCatalyst CodeCatalyst上での開発を加速するためのサービスとなっており、コメントやREADMEの追加、issue作成、小規模なクラスや単体 テストの作成、CodeCatalyst自体のワークフローの更新といった、開発上のタスクを加速する機能です。 Q in Connect コンタクトセンターのエージェントが顧客の問題を迅速かつ正確に解決できるよう、推奨される対応やアクションを通話中にリアルタ イムで提供する機能です。 Q in QuickSight 自然言語で実現したい分析を伝えることで、ダッシュボードや分析を自動で作成できる機能です。 これに加えて、ダッシュボー ドの要約、データの質問に答えるためのミニダッシュボードの生成、データを説明するストーリーの構築なども機能もあります。 Q in Supply Chain (Coming Soon) サプライチェーンで何が起きているのか、なぜ起きているのか、どのような行動を取るべきかについて質問し、インテリジェントな回答 を得ることができる機能です。 Q in AWS Chatbot AWS ChatbotとTeamsやSlackチャンネルを紐づけることで、TeamsやSlackからAmazon Qを使用することができる機能で す。 Q data integration in AWS Glue (Comming Soon) 自然言語を使ってAWS Glueによるデータパイプラインを作成することができる機能となっており、またチャットを通したト ラブルシューティングも可能となる機能のようです。 Q gererative SQL in Amazon Redshift Redshift クエリエディタから処理したいことを自然言語で問い合わせることで、Amazon RedshiftへのSQL文を生成する 機能となっています。
8 大規模言語モデル, 画像生成などの基盤モデルを AWSでフルマネージドで扱えるサービス ・Knowledge BasesとAgentsがGA ・基盤モデルが追加・更新 ・Titan Text Lite,
Text Express, Image Generator, Multimodal Embeddings ・Claude 2.1, Llama 2 70B ・チューニング方式のアップデート ・Fine Tuningモデルが拡大、Continued pre-trainingが追加 Amazon Bedrock(概要)
9 チューニング方式のアップデート ・Fine-Tuning対応の拡大 ・日本語対応のテキスト生成はTitan Expressのみ(Claudeはこれから) ・Titanの他のシリーズについてもFine-tuning対応 ・Continued pre-training方式 (Preview)の追加 Amazon
Bedrock(推しアプデ1) 入力プロンプト 出力テキスト 再学習 ... 入力プロンプト ... Fine-tuning Continued pre-training
10 Titan Multimodal Embeddings ・「テキスト」、「画像」、「テキスト+画像」の3種類の入力に対応 これらを1024次元の埋め込みベクトルに変換 ・ベクトルをベクターストアなどに格納することで、「テキスト」、「画像」、「テキスト+ 画像」の3種類を相互にクエリして結果を得ることが可能 ・注意点 ・入力できるトークン数は128
tokensと少なめ ・Titan Embeddingsと異なり日本語には対応していない Amazon Bedrock(推しアプデ2)
11 AWS上で機械学習基盤を構築するサービス MLOpsを実現するPipelineやMonitoringの仕組みも提供 Bedrockより広範なモデルを扱え、独自モデルも使用可能 ・HyperPodがGA, Code Editor(VSCodeなIDE)がGA ・SageMaker Studio自体が大幅リニューアル ・旧StudioはStudio
Classicという扱いに Amazon SageMaker(概要)
12 SageMaker Studioが大きく変わった Amazon SageMaker(推しアプデ1) Studioコンソール起動に 時間が掛かる⌛ 軽量なコンソールの起動が一瞬!! (インスタンスはまだ立ち上がらない) ノートブックでの開発が
つらくなってきた💦 VSCodeなIDE, JupyterLabから アプリケーションを選択可能!! 独自のEFSが持ってこれない😖 アプリケーションは個別にEBSを持ち、 EFSがマウントできる! マネコンとStudioコンソールを 両方見る必要がある🙄 コンソールで管理が統一!
13 SageMaker Studioが"アーキも"大きく変わった Amazon SageMaker(推しアプデ2) Studio Domain EFS(共通) JupyterServer (コンソール)
JupyterServer (コンソール Job空間 TrainingJob TrainingJob ProcessingJob ProcessingJob Studio Domain Webコンソール Webコンソール CodeEditor JupyterLab EBS EBS CodeEditor EBS Job空間 TrainingJob TrainingJob ProcessingJob ProcessingJob EFS (mount) + INSTANCE STORAGE
Analytics, Database アップデート
主に3つの観点で個人的に整理 ・Zero-ETL対応の拡大 ・VectorStore対応の拡大 ・Analytics + AIML 15 Analytics, Databaseのアップデート概観
16 Zero-ETLとはETL処理なしに分析エンジンから データベースやストレージにアクセスできる仕組み Zero-ETL対応の拡大 Aurora (PostgreSQL) DynamoDB RDS (MySQL) Aurora
(MySQL) GA済み Preview Redshift クエリ DynamoDB S3 Preview GA CloudTrail Lake GA Preview Preview OpenSearch クエリ Athena クエリ
17 たとえばDynamoDBとOpenSearch ・PITR(ポイントインタイムリカバリ)とDynamoDBストリームは、あらかじめ有効にしておく ・OpenSearchのIngestion Pipelineを作る ・この時にyamlを書くがOSSのOpenSearchの機能の中ではData Prepperと呼ばれる 機能で様々なデータソースからOpenSearchへとデータを統合する機能として存在 Zero-ETL対応の拡大 DynamoDB
GA OpenSearch クエリ
18 生成AIに活用されることの多いVectorStoreの適用が拡大 ・OpenSearch ServerlessでVector engineがGA 元々プレビューで、今回発表されたBedrockのKnowledge Basesでも使用 ・DocumentDBおよびDynamoDBのベクトルサーチ機能がGA DynamoDBはOpenSearchへのzero-ETLを介して実現する様子 ・MemoryDB
for Redisでベクトル検索機能がプレビュー VectorStore対応の拡大
19 AIMLなどとの組み合わせでより高度な分析 Analytics + AIML Redshift Serverless with AI- driven
scaling and optimizationを 発表 Redshift Serverlessでワークロード特性をAIが学習し、それに合わせてプロアクティブにリソース量を調 整・最適化 Redshift MLがSageMaker JumpStartのLLM用のエンドポイントで推 論実行が可能に SageMaker JumpStart で LLM 用のエンドポイントを作成することで、Redshift のデータに対してリモ ートで推論を実行する機能 Glue Data Qualityが機械学習ベースの 異常検知に対応 Glue Data Qualityは定義したルールに従って、データの品質検査を実施できる機能 本機能は、データの変化を監視し、監視しているメトリクスが予想される値の範囲外であった場合に検知 DataZone AI recommendationsを 発表 DataZoneは、ビジネスデータカタログを提供することで、データ利活用を加速するサービス。 Amazon DataZoneで、生成系AIによる機能強化により相互利用をしやすくなる機能を発表。 本機能でプロデューサー側は、ワンクリックでデータの説明・背景情報を生成。重要なデータ列を明示し、分析 時に推奨される事項を追加。コンシューマー側はAIによるレコメンデーションにより、データを容易に発見。データ に関する説明や使用例が提示され、データ活用にスムーズに取り組める。 AWS Clean Rooms MLの発表 Clean Roomsは機密データを含むような生データを開示せずにコラボレーションするためのサービス。 Clean Rooms MLを使用することで、ユーザーはパートナーとデータを共有することなく、機密データを保護し 続けながら、MLモデルを構築・トレーニング・デプロイ・予測することが可能に。
おわり