JAWS-UG AI/ML #17 AlexaにAWSの生成系AIを連携する

JAWS-UG AI/ML #17 「AlexaにAWSの生成系AIを連携する」LTの資料です。
https://jawsug-ai.connpass.com/event/286453/

Amazon SageMaker JumpStartでAlexa Teacher Model 20 Billion (AlexaTM 20B)を動かし、Alexaに連携したデモ動画はこちらです。
https://www.youtube.com/shorts/uhY0komLxuY

Transcript

1. Alexaに AWSの生成系AIを連携する 2023/07/25(火) JAWS-UG AI/ML #17 長田英幸
2. アジェンダ、注意事項 ①LT中「Alexa」と頻繁に発話するので、配信・動画を視聴されている方の お手元のAmazon Echoが起動する場合があります。何卒ご容赦ください。 ②LTの内容は、趣味の個人開発の内容です。 自己紹介 Alexaとは ChatGPT登場 AlexaにChatGPT APIを繋いだイメージ図 Alexaの8秒仕様 Amazon Bedrock Amazon SageMaker JumpStart AlexaTM (20b) アーキテクチャ図 AlexaTM 20Bをどこにデプロイするか オレゴンリージョンにデプロイ ノートブックを実行 AlexaTM 20Bに話しかける Alexaと連携 デモ動画 まとめ 告知
3. 自己紹介 長田英幸(ながたひでゆき) 趣味で、スマートスピーカーAmazon Alexa等のスキルを、 個人開発しています。 大阪駆動開発というコミュニティに参加しています。 https://osaka-driven-dev.connpass.com/ デジタル総合印刷株式会社 https://www.dps-company.jp/ 印刷から始まった会社です。 マニュアルやドキュメント類の制作、 WEBパーツリスト等の業務システム開発、 3Dソリューションも扱っています。 求人：https://www.green-japan.com/company/8866 https://www.credly.com/users/hideyuki-nagata/badges
4. Alexaとは 千代田区 Alexa は、Amazon およびサードパーティのデバイス メーカーが提供する数億台のデバイスで利用できる Amazon のクラウドベースの音声サービスです。 Alexa is Amazon’s cloud-based voice service available on hundreds of millions of devices from Amazon and third-party device manufacturers. https://developer.amazon.com/en-US/alexa スマートホームの標準規格「Matter」 https://csa-iot.org/all-solutions/matter/ 海外では、Alexa Smart PropertiesやHey Disney https://developer.amazon.com/en-US/alexa/seniorliving https://youtu.be/iUwEQnYr1wY?t=52 https://developer.amazon.com/en-US/blogs/alexa/device- makers/2023/06/amazon-hey-disney-june-2023
5. 世はまさに、大生成系AI時代 乗るしかない、このビッグウェーブに
6. AlexaにChatGPT APIを繋いだイメージ図 引用元： https://developer.amazon.com/ja-JP/docs/alexa/ask-overviews/what-is-the-alexa-skills-kit.html 8秒の壁 ChatGPT API Alexa-hostedスキル作成 → Alexaの8秒仕様 6 Alexa-hostedスキル・・・Alexaアカウントのみで、AWS Lambda、Amazon S3バケット、Amazon DynamoDBテーブル等が設定済みで用意される。 https://developer.amazon.com/ja-JP/docs/alexa/hosted-skills/build-a-skill-end-to-end-using-an-alexa- hosted-skill.html
7. Alexaの8秒仕様 Alexaはタイムアウトする前に8秒間応答を待ちます。 https://developer.amazon.com/ja-JP/docs/alexa/device-apis/ja-alexa-response.html 他社のサービスを使うからそもそも悪いのではないか。 AWS純正のAIサービスと連携させれば、レスポンスが早くなる方法があるかも、と考えました。 systemロールで、 「100文字程度」と指定しない と・・・ CloudWatchのログに、 「Task timed out after 8.01 seconds」と 出力されるエラーで異常終了してしまう。
8. Amazon Bedrock は、主要な AI スタートアップや Amazon の FM を API 経由で利用できる ようにするフルマネージド型サービスです。 https://aws.amazon.com/jp/bedrock/ ※ 2023/7/23 現在 Amazon Bedrockは、GAしていません。
9. Amazon SageMaker JumpStart 機械学習 (ML) のハブとして、基盤モデル、組み込みアルゴリズム、および数回のクリックで デプロイできる事前構築済みの機械学習ソリューション https://aws.amazon.com/jp/sagemaker/jumpstart/
10. AlexaTM (20b) Alexa Teacher Model 20 Billion (AlexaTM 20B) 20 Billionは、200億 200億パラメータの生成モデル、との事でした。 このノートブックは、Amazon_JumpStart_AlexaTM_20B.ipynb JumpStart API で AlexaTM 20B モデルを使用する方法をデモします。モデルをデプロイして推論を実 行する方法を示します。また、AlexaTM 20B モデルを 5 つのタスク例 (i) テキスト 要約、(ii) 自然言語生成、(iii) 機械翻訳、(iv) 抽出的質問応答、および (v) 自然言語 推論と分類を使用してインコンテキスト学習にどのように使用できるかを示します。 https://github.com/aws/amazon-sagemaker-examples/tree/main/introduction_to_amazon_algorithms/jumpstart_alexatm20b https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning
11. アーキテクチャ図 AWS Cloud AWS STS Amazon SageMaker AWS Security Token Service (AWS STS)で、AlexaアカウントのLambdaを認証しました。
12. AlexaTM 20Bをどこにデプロイするか Amazon SageMaker の料金 https://aws.amazon.com/jp/sagemaker/pricing/ オレゴンリージョンだと 0.23USD/時間 東京リージョンだと 0.298USD/時間 オレゴンリージョンで24時間稼働させた場合、 1USD=140円とすると、0.23×24×140=772.8円 半日しない内にアラートメールが飛びました。 料金の計算方法が難しいです。
13. オレゴンリージョンにデプロイ Amazon SageMaker > JumpStart > Foundation models Amazon モデルの「AlexaTM 20B」で「表示モデル」を押下 SageMakerドメインを作成 > 高速セットアップ(1分) 画面左側で、JumpStartを選んでAlexaで検索 「View notebook」押下
14. ノートブックを実行 「Import notebook」押下 Spinning up the endpoint. This will take a little while エンドポイントをスピンアップします。 これには少し時間がかかります ※ 最後、終わったら以下を実行します。
15. AlexaTM 20Bに話しかける
16. Alexaと連携
17. Alexaと連携
18. デモ動画 YouTubeショート動画にアップロードしました。 https://youtube.com/shorts/uhY0komLxuY?feature=share
19. まとめ Amazon SageMaker JumpStartの料金計算方法の理解が必要である。 Amazon SageMaker JumpStartのAPIの接続が一筋縄で行かず、かなり 難しかった。 サーバーレス推論にも挑戦したい。 AlexaTM 20Bが思ったような返事が返ってこなかった。 Amazon BedrockのGA、待ち遠しいです！
20. 告知 https://osaka-driven-dev.connpass.com/event/289794/ ご清聴、ありがとうございました。