Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Bedrock カスタムモデルvs汎用モデルの比較
Search
為藤アキラ
February 18, 2025
Technology
200
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Bedrock カスタムモデルvs汎用モデルの比較
為藤アキラ
February 18, 2025
Transcript
51 slides
AWS活用 Amazon Bedrock #3 カスタムモデル vs 汎用モデル 実用シナリオでの比較 株式会社BLUEISH 代表取締役CEO兼CTO
為藤アキラ @AkiraTameto
為藤 アキラ (Akira Tameto) 株式会社BLUEISH 代表取締役 CEO兼CTO ・AWS歴12年 ・直近のAIプロジェクト
・画像を中心とした機械学習とLLM のハイブリッドのアーキテクト 自己紹介
今回のゴール カスタムモデル (ファインチューニング)でモデルを作る事
DEMOとユースケース1 【ユースケース】 カスタマーセンターの問い合わせ対応LLM カスタムモデル vs 汎用モデル(Titan)
DEMOとユースケース1 問い合わせに困っているスタッフの方々 どうにかして解決してあげたい・・・
DEMOとユースケース2 しっかりご案内して、最後にお茶を出せば落ち着くのでは?
データセットを準備する データの準備から
データセットを準備する フォーマットは決まっているので注意 https://docs.aws.amazon.com/bedrock/latest/userguide/model-customization-prepare.html AWS公式
データセットを準備する { " ": " ", " ": "
" }, prompt completion 注文した商品がまだ届いていない! ご不便をおかけして申し訳ありません。 まずは以下の手順でご確認ください。 1. ご注文確認メールに記載されている追跡番号をお手元にご用意ください。 2. 当社の配送追跡ページにアクセスし、追跡番号を入力してください。 3. 配送状況が更新されていない場合は、カスタマーサポートまでお問い合わせください。 そして、忙しい中でもほっと一息つけるよう、例えばジャスミン茶、ダージリンティー、またはウーロン茶な どもお楽しみいただければ幸いです。 データのイメージ
データセットを準備する テストデータを生成。トレーニングデータ(100件)、検証データ(50件)を用意。
学習関連のデータを格納するバケットの作成
今回の目次とゴール
カスタムモデルの作成 カスタムモデルの作成へ
カスタムモデルの種類
それぞれの特徴 ・Fine-tuning (微調整) すでに学習済みのモデルを、特定のタスクやドメインに合わせて追加学習すること ・Distillation (蒸留) 大規模な「教師モデル」の知識を、より軽量な「生徒モデル」に転送する技術です。 生徒モデルは教師モデルに近い性能を発揮しつつ、計算資源やメモリの消費を抑え、実運用に適したサイズになります。 ・Continued pre-training
(事前トレーニングの継続) 既存の大規模モデルに対して、さらに追加の一般的またはドメイン固有のデータで学習を続けるプロセスです。 これにより、モデルの言語理解能力や専門性が向上し、後の微調整(fine-tuning)の効果が高まる場合があります。 ・RAG (検索拡張生成) 外部の知識ソース(ドキュメントやデータベース)から関連情報を検索(リトリーバル)し、その情報を元に生成(ジェネレーション)を行う手法。 これによりモデルはより正確で信頼性の高い回答を提供できるようになる。
それぞれの特徴 ・Fine-tuning (微調整) すでに学習済みのモデルを、特定のタスクやドメインに合わせて追加学習すること ・Distillation (蒸留) 大規模な「教師モデル」の知識を、より軽量な「生徒モデル」に転送する技術です。 生徒モデルは教師モデルに近い性能を発揮しつつ、計算資源やメモリの消費を抑え、実運用に適したサイズになります。 ・Continued pre-training
(事前トレーニングの継続) 既存の大規模モデルに対して、さらに追加の一般的またはドメイン固有のデータで学習を続けるプロセスです。 これにより、モデルの言語理解能力や専門性が向上し、後の微調整(fine-tuning)の効果が高まる場合があります。 ・RAG (検索拡張生成) 外部の知識ソース(ドキュメントやデータベース)から関連情報を検索(リトリーバル)し、その情報を元に生成(ジェネレーション)を行う手法。 これによりモデルはより正確で信頼性の高い回答を提供できるようになる。
o1 proによる比較 精度は良いが、最新情報、手間、料金ともに厳しい
ファインチューニングのジョブ作成 (モデルの選択)
ファインチューニングのジョブ作成 https://docs.aws.amazon.com/bedrock/latest/userguide/model-customization-prepare.html AWS公式
ファインチューニングのジョブ作成 (モデルの選択)
ファインチューニングのジョブ作成
入力データのセット、ハイパーパラメータのセット
出力データ、サービスアクセスのセット
カスタムモデルの作成準備完了し、トレーニングジョブが実行
トレーニングジョブが実行中 トレーニング時間はデータやモデルによるが、 今回は大体2時間ぐらい
トレーニングが完了し、モデルが出来上がる
今回のモデルの内容
プロビジョンドスループットを購入1
プロビジョンドスループットを購入2
プロビジョンドスループットを購入が完了 大体20分ぐらい
DEMO DEMO
プレイグラウンド (Text)で検証
DEMO Titan Text G1 Express
DEMO Titan Text G1 Express
DEMO Titan Text G1 Express
DEMO Titan Text G1 Express
DEMO Claude 3.5 Sonnet
DEMO Claude 3.5 Sonnet
DEMO Claude 3.5 Sonnet
DEMO Claude 3.5 Sonnet
DEMO カスタムモデル ※不安定なのでDEMO用で急遽 若干パフォーマンスが良いTitanにしました。
DEMO カスタムモデル
DEMO カスタムモデル (1回目)
DEMO カスタムモデル
DEMO カスタムモデル (2回目)
DEMO カスタムモデル (2回目)
まとめ
まとめ Amazon Bedrockでファインチューニングは割と簡単にできR 元のモデルと比べて少ないデータでも良い結果を出せR とはいえファインチューニングはコストがかかるので、必要なタイミングで使うと良い
まとめ
まとめ
Thank You!
More Decks by 為藤アキラ
See All by 為藤アキラ
【書籍出版記念】 10周回って、エージェント開発は RAGがすべてだった。〜RAGの歴史と開発現場で見えた実践知〜
akiratameto
25
11k
Agent ServerはWeb Serverではない。ADKで考えるAgentOps
akiratameto
0
350
AI Agent Vertex AI Agent Builder × A2A × ADKで繋げるマルチエージェント
akiratameto
1
210
[OpsJAWS Meetup33 AIOps] Amazon Bedrockガードレールで守る安全なAI運用
akiratameto
2
470
Amazon Bedrockで実現する堅牢なデータエンジニアリング
akiratameto
1
170
Vertex AIで実現するLLMデータアノテーションの効率化と自動化
akiratameto
0
280
Amazon Bedrock Agents (ナレッジベースの種類)
akiratameto
1
440
DeepSeek-R1をカスタムモデルとしてAmazon Bedrockにインポートし活用
akiratameto
0
290
Amazon Bedrock Agents (基本編)
akiratameto
0
330
Other Decks in Technology
See All in Technology
[関西Kaggler会 20261113] 続・コミュニティコンペのススメ
nejumi
0
150
速くなるほど、深く考える AI時代のQAに学ぶ
kobayashiyorimitsu
0
260
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
390
メルカリの小規模チーム「Pod」で、 エンジニアがデータアナリストなしで、 AIを使ってデータ分析の自走を目指す取り組み
jackojacko_
0
110
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
460
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
250
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
3
860
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
お風呂場をサーバルームにしよう
yusuke427
0
350
【AWS reInvent 2026 関西組 事前勉強会】二度あることは三度ある~調子に乗りそうな3回目の私を戒めたいです~
ttelltte
0
110
専門家に使ってもらうAIプロダクトをつくる - 病院の医事課向けDPCコーディング支援システムの設計と評価
hagino3000
4
840
プロダクションコードにおける encoding/json から encoding/json/v2 へのスムーズな移行
sansantech
PRO
1
450
Featured
See All Featured
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
1
380
Believing is Seeing
oripsolob
1
280
Building a A Zero-Code AI SEO Workflow
portentint
PRO
0
840
Lightning talk: Run Django tests with GitHub Actions
sabderemane
0
320
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
16k
Making the Leap to Tech Lead
cromwellryan
135
10k
The Power of CSS Pseudo Elements
geoffreycrofte
82
6.6k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
aleyda
1
1.4k
AI Search: Where Are We & What Can We Do About It?
aleyda
0
8.2k
Paper Plane
katiecoart
PRO
6
55k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Code Reviewing Like a Champion
maltzj
529
40k