生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた

【connpass】
JAWS-UG CDK支部 #16 ~CDK Conference 2024 Extra~
https://jawsug-cdk.connpass.com/event/328676/

Transcript

1. ©Fusic Co., Ltd. 1 生成AIアプリのアップデートと配布の課題を CDK Pipelinesで解決してみた 2024.9.25 苑田 朝彰 @sonoda_mj JAWS-UG CDK支部 #16 ~CDK Conference 2024 Extra~
2. ©Fusic Co., Ltd. 2 苑田 朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定（初級） コメント 第7回 北九州50キロウォークを完歩しました 自己紹介 はじめに 株式会社Fusic
3. ©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. 生成AIアプリケーションにCDK Pipelinesを導入してみた 3. まとめ
4. ©Fusic Co., Ltd. 4 背景 1
5. ©Fusic Co., Ltd. 5 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる 検索拡張生成(RAG) メンバー紹介 ニュース 開発事例 その他
6. ©Fusic Co., Ltd. 6 Amazon Bedrockを用いたRAG開発の課題 現状 課題 Knowledge Base for Amazon Bedrockを使用してRAGを 構築し、手動で配布している • いちいち同じアプリを作るのがめんどくさい • 生成AI関連の技術の更新が早く、ユーザーがアッ プデートしない • RAGの精度や性能の評価が難しく、改善に時間が かかる 結果 • 生成AIをメインで使用する開発者は、自分でアプ リを更新し、最新技術をすぐに導入できる • それ以外の人は最新技術の恩恵を受けるのに時間 がかかる
7. ©Fusic Co., Ltd. 7 Amazon Bedrockのアップデート一覧
8. ©Fusic Co., Ltd. 8 解決へのアプローチ • CDK Pipelinesの活用 • マルチアカウント展開の実現 • 効率よく開発・デプロイすることが可能 • シンプルに使ってみたかった アプリケーション アプリの構築と 更新を自動でしたい アプリの使用
9. ©Fusic Co., Ltd. 9 生成AIアプリケーションに CDK Pipelinesを導入してみた 2
10. ©Fusic Co., Ltd. 10 AWS CodePipelinesによって CDK アプリケーションの継続的なデプロイパイプラインを簡単にセットアップできる高レ ベルのコンストラクトライブラリ CDK Pipelinesとは 引用：https://aws.amazon.com/jp/about-aws/whats-new/2021/07/announcing-cdk-pipelines-ga-ci-cd-cdk-apps/
11. ©Fusic Co., Ltd. 11 プロファイルの設定 • ACCOUNT1（管理アカウント） • ID: 11111111111 • Profile: account1-profile • ACCOUNT2（アプリアカウント） • ID: 222222222222 • Profile: account2-profile 1. ACCOUNT1にパイプラインをデプロイするためのブート ストラップする 2. ACCOUNT1のパイプラインからACCOUNT2にアプリ ケーションをデプロイできるようにするため、ACCOUNT2 をブートストラップする $ npx cdk bootstrap \ --profile account-profile-2 \ --cloudformation-execution-policies arn:aws:iam::aws:policy/AdministratorAccess \ --trust 11111111111 \ aws://222222222222/ap-northeast-1 CDK Pipelineでマルチアカウントデプロイをする 引用： https://aws.amazon.com/jp/blogs/news/deploying-a-cdk-application-using-the-cdk-pipelines-modern-api/
12. ©Fusic Co., Ltd. 12 実際に使ってみた CDK Pipelines CDK Pipelinesの呼び出し Parameter
13. ©Fusic Co., Ltd. 13 実際に使ってみた CDK Pipelines CDK Pipelinesの呼び出し Parameter Parameterをループさせて ステージを作成している Parameterを追加する
14. ©Fusic Co., Ltd. 14 実際に使ってみた CDK Pipelines CDK Pipelinesの呼び出し Parameter 生成AIアプリのStage
15. ©Fusic Co., Ltd. 15 構成図（アプリ編） AWS Cloud User Slack Agents for Amazon Bedrock Knowledge Base for Amazon Bedrock Pinecone Serverless Amazon S3 データインポート AWS ChatBot
16. ©Fusic Co., Ltd. 16 構成図（全体編） AWS Cloud AWS account（管理） AWS account 1 Agents for Amazon Bedrock Knowledge Base for Amazon Bedrock Pinecone Serverless Amazon S3 Github AWS CloudFormation AWS account N Agents for Amazon Bedrock Knowledge Base for Amazon Bedrock Amazon S3 AWS CloudFormation ・ ・ ・ CDK Pipelines
17. ©Fusic Co., Ltd. 17 実際の動き Stageが追加される Github Prodブランチに Pushする
18. ©Fusic Co., Ltd. 18 Amazon Bedrockに関するPDFをデータとしたRAG デモ
19. ©Fusic Co., Ltd. 19 まとめ CDK Pipelineの活用により、生成AIアプリの継続的デプロイとマルチアカウント展開を実現 Point 01 非開発者でも容易にRAGを利用できるようになった Point 02
20. ©Fusic Co., Ltd. 20 Thank You We are Hiring! https://recruit.fusic.co.jp/ ご清聴ありがとうございました！