最高のシステムプロンプトを作るためにフィードバック機能を導入した話

2026/7/29 KGDC Tech Conference #14「AI駆動開発」

Transcript

1. 最高のシステムプロンプトを 作るためにフィードバック機能を導入した話 KDDI株式会社 原田涼太郎(あるけみー) 2026/7/29 KGDC Tech Conference #14「AI駆動開発」
2. 自己紹介 KDDI株式会社 IoT技術部 原田 涼太郎 ロール： プロダクトオーナー 活動・表彰： JAWS-UG 彩の国埼玉支部運営 2024 Japan AWS All Certifications Engineers 2025 Japan All AWS Certifications Engineers 2026 Japan All AWS Certifications Engineers KDDI Cloud SAMURAI 2024 AWS Community Builders(Serverless) 好きなAWSサービス： Amazon ECS/AWS Certificate Manager/Amazon Bedrock AgentCore @symphonius_ryo @ry-harada 2
3. 世の中には情報が溢れている AWS Blog AWS What’s New News 勉強会スライド SNS
4. 情報を勝手に集めるダッシュボードを作った AWS What’s New AWS Blog News 勉強会スライド Claude Code アプデ情報
5. 構成図
6. 課題その1：多すぎて読みきれない
7. 課題その1：多すぎて読みきれない AWS最新情報だけでも、多い日は10件以上になることも
8. 対策その1：AIによる「おすすめ度」表示 興味に基づいておすすめ度を3段階で分類する機能を実装 RSSのtitleやdescriptionを確認 おすすめ度でフィルターも可能
9. 対策その1：AIによる「おすすめ度」表示の構成図
10. 課題その2： 「リージョン追加」に★★★？ しばらく運用しているとあることに気づく AI関連ではあるが、SageMakerという 機械学習モデルを作るサービスのアップデート セキュリティ+AI関連ではあるが、 東京リージョンではない対象リージョン拡大のアップデート GovCloud？？？
11. 最初の(AIに作らせた)システムプロンプト # 評価ルール - 3: 優先して読む。新サービス情報、Serverless、Bedrock / AgentCore / Amplify Gen2 / AppSync / DynamoDB / Lambda / CloudWatch / CDK / Cognito、セキュリティ、 コスト最適化、breaking change、deprecation など設計判断に直結する更新 - 2: 読む価値あり。実装や運用のヒントになる中規模アップデート - 1: 低優先。新しいインスタンスタイプ追加、利用予定の薄いリージョン展開、 販促色が強く技術判断への影響が薄い更新 - 迷う場合は 2 にしてください - recommendationReasonJa は「なぜ読むべきか」を日本語 80 文字以内で短く書く
12. 最初の(AIに作らせた)システムプロンプト # 評価ルール - 3: 優先して読む。新サービス情報、Serverless、Bedrock / AgentCore / Amplify Gen2 / AppSync / DynamoDB / Lambda / CloudWatch / CDK / Cognito、セキュリティ、 コスト最適化、breaking change、deprecation など設計判断に直結する更新 - 2: 読む価値あり。実装や運用のヒントになる中規模アップデート - 1: 低優先。新しいインスタンスタイプ追加、利用予定の薄いリージョン展開、 販促色が強く技術判断への影響が薄い更新 判断基準はあるが、やや曖昧 - 迷う場合は 2 にしてください - recommendationReasonJa は「なぜ読むべきか」を日本語 80 文字以内で短く書く
13. 「AI系は高く」の罠 3: 優先して読む。新サービス情報、Serverless、Bedrock / AgentCore / Amplify Gen2 / AppSync / DynamoDB / Lambda / CloudWatch / CDK / Cognito、セキュリティ、コスト最適化、breaking change、deprecation など設計判断に直結する更新 serverlessという文字列に反応 リージョンによる判定はないため、 Bedrockに反応
14. どうしよう いちいちリージョン指定したり、このサービスは除外、 とか指定するの面倒だな〜
15. LLMの出力って、どう評価する？ デプロイ前後で評価する方法がある デプロイ前に行う オフライン評価 事前に用意したデータセットで一括評価 再現性が高く、変更前後のスコア比較が得意 デプロイ後に行う オンライン評価 実際に流れてくるリクエストを継続評価 想定外の「実際の使われ方」をカバー
16. LLMの出力って、どう評価する？ 今回は「オンライン評価」に着目 デプロイ前に行う オフライン評価 事前に用意したデータセットで一括評価 再現性が高く、変更前後のスコア比較が得意 デプロイ後に行う オンライン評価 実際に流れてくるリクエストを継続評価 想定外の「実際の使われ方」をカバー
17. 対策その2：評価フィードバック機能
18. フィードバックをプロンプト改善につなげる
19. 分析&改善フェーズ
20. 改善後のシステムプロンプト まずサービス名レベルで関心のある領域・ない領域を明示 # あるけみーの関心プロファイル - 強い関心: 生成 AI 開発（Bedrock / AgentCore / MCP / 新モデルの一般提供） 、 Serverless（Lambda / AppSync / DynamoDB） 、Amplify Gen2 / CDK / CloudFormation、 コンテナ（ECS / Fargate / EKS） 、CloudWatch などの監視・デプロイ運用の改善、 Cognito、 セキュリティ設計に効く更新、コスト最適化 - 関心が薄い: SageMaker 全般、エンタープライズ・業種特化系 （Connect / GameLift / Neptune / MSK / Flink / Timestream / DMS / Control Tower / Corretto / WorkSpaces / Partner 向け情報 など）
21. 改善後のシステムプロンプト 低優先となるルールを詳細化 # 評価ルール - 3: 優先して読む。商用リージョンで一般利用できる更新のうち、次のいずれか - 新サービス・新モデルの GA、breaking change、deprecation - 「強い関心」サービスの主要な新機能、設計判断に直結する改善 - セキュリティの既定動作の変更、新しい保護機能の GA - 広い範囲に効くコスト削減・料金体系の変更 - 2: 読む価値あり。関心のあるサービスの中規模アップデートや、実装・運用のヒントになる改善 - 1: 低優先。次のいずれかは、サービス名に関わらず必ず 1 にしてください - 既存機能・インスタンスタイプ・ノードタイプの対応リージョン追加や拡大 - GovCloud / FedRAMP / DoD / Sovereign Cloud など政府・特定領域向けの 提供開始や認証取得（Bedrock やセキュリティ関連の記事でも 1） - DB エンジンのバージョン追従や Preview 環境での提供 - SageMaker 関連（JumpStart へのモデル追加、HyperPod 等の更新を含む） - 「関心が薄い」サービスの更新、販促・イベント告知 - 「強い関心」のサービスでも、ニッチな機能追加で設計判断への影響が薄い場合は 3 にせず 2 以下にしてください - 迷う場合は低い方のレベルにしてください
22. 今後取り組みたいこと 定期的に自動でプロンプトが改善するようにする EventBridge Scheduler + Lambda + Bedrockで簡単にできるはず
23. プロンプトが勝手に育つ仕組みへ やったことはただのシステムプロンプト改修 だけど、それをやるためには仕組みが必要 システムは「作る」だけでなく「育てる」ことも重要
24. まとめ フィードバック機能を実装してプロンプトを改善する仕組みを作った AIの初期判定は「キーワード一致の罠」にハマりがち 実データのフィードバック分析がプロンプト改善の近道 システムは「作る」だけでなく「育てる」ことも重要
25. 宣伝 24時間耐久というイカれた楽しいイベント