Amazon Bedrock LLM as a Judgeを試す

【AWS活用 AI/ML/LLM #7】機械学習/大規模言語モデルの実装と運用
https://blueish.connpass.com/event/348779/

Transcript

1. Amazon Bedrock LLM as a Judge を試す 2025/03/27 ©BLUEISH 2025. All rights reserved.
2. 立野 祐太 Taro Yamada ・React, Go, GCPを用いたアプリケーション開発・運用 ・OCRを用いたアプリケーション開発 エンジニア ©BLUEISH 2025. All rights reserved.
3. 1 News 2 Amazon Bedrock Evaluationとは？ 3 評価の説明 4 ハンズオン： RAGの検索と生成を評価 5 まとめ ©BLUEISH 2025. All rights reserved.
4. ©BLUEISH 2025. All rights reserved. 2025-03-20 Amazon Bedrock EvaluationにLLM-as-a-judgeが一般提供開始
 正式サポートされたことで、本番環境でも安定運用

 新機能追加
 Bedrock上でモデル・RAGだけではなく、外部で推論された結果を渡すことで、外部 のモデルやRAGを評価することができるようになり柔軟性が向上 News
5. Amazon Bedrock Evaluationとは？ ©BLUEISH 2025. All rights reserved. モデルやRAGの品質と性能を評価するためのサービス

 さまざまな評価方法を提供し、モデルの強みと弱みを特定し て、アプリケーションの改善に役立てる
6. Amazon Bedrock Evaluationとは？ ©BLUEISH 2025. All rights reserved. モデルの評Y e 自動評S e 人間による評S e LLMによる評価 
 RAGの評Y e LLMによる評価
7. 自動評価 モデルの出力をメトリクスやアルゴリズムに基づ いて自動で評価する方法 タスクタイプに応じてAmazon Bedrock上の組み 込みデータセット・独自のデータセットを利用し て、メトリックやBERT Score、F1、その他の完 全一致手法などの従来の自然言語アルゴリズムに 基づいた評価が可能 ©BLUEISH 2025. All rights reserved.
8. 人間による評価 ©BLUEISH 2025. All rights reserved. モデルの出力を人間が評価する方法

 実際の人間が「良い」と感じるかどうかを直接判断できる。
 コストが高いのと評価者によるバイアスはかかりやすい。
 評価方I TH 親指を上げる/下げる
 good / bad での２択評— 9H リッカート尺度
 5段階評価
9. モデル(生成モデル)の出力をLLM(評価モデル)が評価する方x P 人間による評価よりも迅速かつ低コストで自動評価よりも深い理解と文脈把握が可 P 評価基準やプロンプトを変更するだけで柔軟に適応可 P 評価理由の説明や詳細なフィードバックが得られる LLMによる評価 (LLM as a Judge) ©BLUEISH 2025. All rights reserved.
10. 比較 ©BLUEISH 2025. All rights reserved. 評 価 手 法 特徴 メリット デメリット 適したユースケース 自 動 評 価 k アルゴリズムやメトリクスによる評† k BERT Score、F1、ROUGEなどの指標 を使€ k 組み込みまたはカスタムデータセットで 実行 k 高速で大量データを処理可| k コスト効率が高w k 一貫性があŽ k 再現性が高w k 客観的な数値指標が得られる k 意味的なニュアンスの理解に限 界があŽ k 創造性や有用性などの主観的側 面を評価しにくw k 評価指標が実際のユーザー満足 度と必ずしも一致しない k 大規模な初期スクリーニンÙ k モデル間の客観的比Ï k 継続的な性能モニタÐ k 定量的ベンチマーク 人 間 評 価 k 実際の人間が回答を評† k 二択（親指上げ/下げ）や5段階評価なà k 複数の評価者の意見を集約 k 微妙なニュアンスや文脈を理解できŽ k 主観的品質（有用性、創造性など） を評価できŽ k 実際のユーザー体験を反映 k 時間とコストがかかŽ k スケーリングが困™ k 評価者によるバイアスが入りう Ž k 評価者間で一貫性を保つのが難 しい k 重要な意思決定前の最終評† k ユーザー体験の質的評† k 創造的コンテンツの評† k エッジケースの特定 L L M 評 価 k 他のLLMを評価者として使€ k 特定の評価基準に基づいて判断 k 人間よりも高速で安† k 自動評価よりも意味理解が優れていŽ k 詳細なフィードバックを提供できŽ k 場合により人間より専門的な知識で 評価できる k 評価LLM自体のバイアスや限界 があŽ k 人間の直感や感覚を完全に模倣 できない k 中規模から大規模の評† k 人間評価の前段階でのフィ ルタリンÙ k 説明可能な評価が必要な場6 k 専門的コンテンツの評価
11. ハンズオン： RAGの検索と生成を評価 DC S3作5 4C データセット作5 (C ナレッジベース作5 'C 評価作5 @C 結果確認
12. RAGの構築 S3バケットを作成 以下ディレクトリを作&  データセッ)  評価用データセッ)  結果出力用
13. RAGの構築 データセットの準備
14. RAGの構築 データセットの準備
15. RAGの構築 ナレッジベースの作成 t Knowledge Base with vector store
 S3,Webなどが検索対象
 テキスト、画像、音声など非構造化デーD t Knowledge Base with structured data store
 Redshiftが検索対象
 構造化データ
16. RAGの構築 ! ナレッジベース名を入 ! データーソースにS3を選択 ナレッジベースの作成
17. RAGの構築 5 データソースを選@ 5 埋め込みのモデルを選択
 （今回はTitan Text Embeddingsv2È 5 ナレッジベース作成 ナレッジベースの作成
18. RAGの構築 動作確認
19. RAGの評価 評価の作成
20. RAGの評価 評価の作成 1. 評価者モデル → 評価を行うモデR Ad 推論ソース → Bedrock ナレッジベースを評b 0d 評価タイプ → 検索と応答の両方を評価す d レスポンスジェネレータモデル → 推論を行うモデルで 評価対象者
21. RAGの評価 評価の作成 メトリクスを選択
22. RAGの評価 評価の作成 HI 評価用のデータセットを選2 $I 評価結果出力用のディレクトリを選2 I S3へのアクセス許可を選択/作 FI 作成
23. RAGの評価 結果 0~1で評価される。 正確性が高い＆有害性はないことが確認で きる。 有用性に関しては低く出ている。これは架 空のデータセットを用いたための可能性が ある。
24. まとめ ` 外部システムの評価が可能になり、汎用的な評価ツールとして使いやすくなった ` 自動評価、人間による評価、LLMによる評価で柔軟に評価でき、モデルやシステムの改善に役立 てることができることがわかった。



25. ©BLUEISH 2025. All rights reserved. ご清聴ありがとうございました。