Amazon Bedrockで実現する 新たな学習体験

AWS Summit 2025

Transcript

1. Amazon Bedrockで実現する 新たな学習体験 Kazu ki Ma eda / @atama p lu s 2025.6.26 2 か 月 で 実 装 し た 教 育 ス タ ー ト ア ッ プ の 挑 戦
2. ⓒ atama plus Inc. 本日お話ししたいこと • 自社サービスに生成AIを用いた機能を実装し、リリースした際の実践知を 共有します • RAGやAgentなどのトレンド技術についてではなく、 生成AIアプリケーションを本番サービスとして提供するための工夫について お話しできればと思います 2
3. 自己紹介 VPoE @ atama plus 教育をテクノロジーで進化する事業における テクノロジーの責任者を担っています AWS Startup Community Core Member / AWS Community Builder 3 K a z u k i M a e d a
4. ⓒ atama plus Inc. アジェンダ 1. これまでのatama plusの挑戦と危機感 2. 生成AIの活用：AIステップ解説 3. 生成AIアプリケーション本番運用における実践知 4. AWSによる支援体制 5. まとめ 4
5. ⓒ atama plus Inc. アジェンダ 1. これまでのatama plusの挑戦と危機感 2. 生成AIの活用：AIステップ解説 3. 生成AIアプリケーション本番運用における実践知 4. AWSによる支援体制 5. まとめ 5
6. 教育に、人に、社会に、 次の可能性を。 M i s s i o n
7. ⓒ atama plus Inc. 全国の塾・予備校に AI教材「atama＋」を提供。 一人ひとりの 「得意」「苦手」を分析し、 学習をパーソナライズします。
8. ⓒ atama plus Inc. 8 atama plusが創業して8年 教育業界にて数々の挑戦を試行してきた
9. 2022年12月 post 生成AI時代 2022年12月 post 生成AI時代
10. ⓒ atama plus Inc. 10 破壊的イノベーションの中で 何かやらないとまずいという危機感
11. 教育事業者として atama plusはどのような価値に フォーカスすべきか
12. ⓒ atama plus Inc. アジェンダ 1. これまでのatama plusの挑戦と危機感 2. 生成AIの活用：AIステップ解説 3. 生成AIアプリケーション本番運用における実践知 4. AWSによる支援体制 5. まとめ 12
13. ⓒ atama plus Inc. 13 これまでの学習における課題
14. ⓒ atama plus Inc. 問題を解き、解説を読む これまでの学習体験
15. ⓒ atama plus Inc. 解説の読み解きに課題 これまでの学習体験 なぜこの式変形になるのか 過程がわからない… なぜこの公式を利用するのか わからない…
16. ⓒ atama plus Inc. 16 解説をもっと親切に 生徒の理解度に合わせて提供できないか？
17. 2022年12月 post 生成AI時代 post 生成AI時代 生成AIの活用による解決を着想
18. 生成AIを用いた学習体験 「AIステップ解説」
19. ⓒ atama plus Inc. 解説文の理解を生成AIを用いてサポートする 生成AIを用いた学習体験
20. ⓒ atama plus Inc. 解説文の理解を生成AIを用いてサポートする 生成AIを用いた学習体験 AIステップ解説
21. AIステップ解説 β版公開までの流れ
22. ⓒ atama plus Inc. 開発タイムライン 22 AIステップ解説公開までの流れ チーム組成 開発スコープの 策定 開発/ 生徒ヒアリング β版リリース 7月末 10月
23. ⓒ atama plus Inc. 開発タイムライン 23 AIステップ解説公開までの流れ チーム組成 開発スコープの 策定 開発/ 生徒ヒアリング β版リリース 7月末 10月 有志の小規模チームで のクイックな開発 社内の資産を活用した 差別化された体験 ユーザーに向き合った 徹底的な価値訴求
24. ⓒ atama plus Inc. 有志の小規模チームでのクイックな開発 • スピーディに機能を世の中に出すことを志向するため、有志のチームで開発 • 主業務タスクの傍らで開発し、2ヶ月+でβ版としてリリース 24 AIステップ解説公開までの流れ
25. ⓒ atama plus Inc. 社内の資産を活用した差別化された体験 • シンプルに生成AIに質問ができる機能、ではなく、学習中のコンテンツを コンテキストとして持たせる実装 • 生徒の疑問に対する言語化コストを極小化する工夫 25 AIステップ解説公開までの流れ コンテキストに 基づいた解説 生徒の言語化コスト を極小化
26. ⓒ atama plus Inc. ユーザーに向き合った徹底的な価値訴求 • 開発前から、PR/FAQを用いた訴求価値仮説の言語化 26 AIステップ解説公開までの流れ
27. ⓒ atama plus Inc. ユーザーに向き合った徹底的な価値訴求 AIステップ解説公開までの流れ • 開発中でも、未完成の機能を用いてユーザーヒアリングを繰り返し、 フィードバックを得ながら提供価値に徹底的にこだわる 27
28. ⓒ atama plus Inc. AIステップ解説のアーキテクチャ外観 28 AIステップ解説公開までの流れ AIステップ解説 学習アプリから コンテンツデータを API経由で渡す Amazon Bedrock経由で Anthropic Claudeに 問い合わせ 既存APIサーバとは 別component として実装 Amazon Bedrock Anthropic Claude
29. ⓒ atama plus Inc. AIステップ解説のアーキテクチャ外観 29 AIステップ解説公開までの流れ AIステップ解説 学習アプリから コンテンツデータを API経由で渡す Amazon Bedrock経由で Anthropic Claudeに 問い合わせ 既存APIサーバとは 別component として実装 Anthropic Claude Amazon Bedrock 価値検証を最速で行うため、 スピーディに公開できる実装を志向
30. ⓒ atama plus Inc. Amazon Bedrock選定の理由 ◼ 複数の基盤モデルを統一された APIで利用可能 ◼ AWS各種サービスとの連携の容易さ、 IAM Roleによるセキュアな利用 ◼ ロギングやクロスリージョン推論 など非機能サービスの充実性 30 AIステップ解説公開までの流れ
31. 生成AIアプリケーションを 2ヶ月で本番(β)機能としてリリース
32. ⓒ atama plus Inc. 32 βリリースにおいては スピーディな実装を志向した
33. ⓒ atama plus Inc. 33 一方で 本番環境でユーザーに生成AIアプリケーションを 直接利用してもらう体験なので 犠牲にできない観点も多い 一方 本番アプリケーションとして公開するには 蔑ろにできない要件が多数存在する
34. ⓒ atama plus Inc. アジェンダ 1. これまでのatama plusの挑戦と危機感 2. 生成AIの活用：AIステップ解説 3. 生成AIアプリケーション本番運用における実践知 4. AWSによる支援体制 5. まとめ 34
35. ⓒ atama plus Inc. 生成AIアプリケーション 本番運用の工夫 35 ドメイン固有の課題 品質保証の工夫 技術的な工夫
36. ⓒ atama plus Inc. 生成AIアプリケーション 本番運用の工夫 36 ドメイン固有の課題 品質保証の工夫 技術的な工夫
37. ⓒ atama plus Inc. Amazon Bedrock本番利用の工夫 37 生成AIアプリケーション本番運用における実践知 -技術的な工夫- prompt cachingによるコスト最適化 LLM as Judgeによるモデル比較評価 モニタリングSaaSと連携した実行監視
38. ⓒ atama plus Inc. prompt cachingによるコスト最適化 • 2025年4月、Amazon Bedrockでprompt cachingが利用できるように • モデルバージョンを更新して、system promptを再利用することで コスト構造を改善 • prompt cachingの制約としてTTLが5分と短いが、AIステップ解説では、 1つのセッション内で学習者の発言ごとにLLM呼び出しが発生するため、 cacheを効かせることで70%の費用削減 38 生成AIアプリケーション本番運用における実践知 -技術的な工夫-
39. ⓒ atama plus Inc. promptとコンテンツデータ 39 生成AIアプリケーション本番運用における実践知 -技術的な工夫- AIステップ解説 <問題> y = 2x </問題> <解説> xに4を代入 </解説> system prompt 公式の意味を 詳しく教えてほしい user prompt コンテンツデータは system promptに 含ませて渡す Amazon Bedrock Anthropic Claude 質問内容は user promptに 格納
40. ⓒ atama plus Inc. prompt cachingによるコスト最適化 40 生成AIアプリケーション本番運用における実践知 -技術的な工夫- AIステップ解説 <問題> y = 2x </問題> <解説> xに4を代入 </解説> system prompt 公式の意味を 詳しく教えてほしい user prompt 質問ごとに変動しない コンテンツデータをcache TTL 5分の間で費用が 発生するのはuser prompt のみ Amazon Bedrock Anthropic Claude
41. ⓒ atama plus Inc. LLM as Judgeによるモデル変更時の評価 • サービス公開当初はClaude 3.5 Sonnetを利用 • その後、Amazon NovaやClaude Sonnet 4などの新しい基盤モデルも選定 でき るようになるが、モデル変更時の回答性能担保が課題になった • 人力でモデル比較を愚直にやるのは効率が悪いので、評価の手法として LLM as Judge を利用することを検討 41 生成AIアプリケーション本番運用における実践知 -技術的な工夫-
42. ⓒ atama plus Inc. LLM as Judgeによるモデル変更時の評価 • Amazon Bedrock Evaluationsは当初Claude 3.7 Sonnetが利用できず • そのため、LangChainが公開しているOSSであるOpenEvalsを利用 42 生成AIアプリケーション本番運用における実践知 -技術的な工夫-
43. ⓒ atama plus Inc. LLM as Judgeによるモデル変更時の評価 • （詳細） 43 生成AIアプリケーション本番運用における実践知 -技術的な工夫- model A LLM as Judge model B model C eval model evaluation prompt question: XXX reference: XXX Score
44. ⓒ atama plus Inc. モニタリングSaaSと連携したLLM実行監視 • 生成AIアプリケーションは、通常のWebアプリケーションに比べて振る舞いの 安定性が低く、会話sessionごとの挙動モニタリングが重要 • Amazon Bedrockのinvocation logのみではsessionの特定が困難 • → モニタリングSaaSと連携してLLMアプリケーションの実行監視が必要 • モニタリングSaaSとしてはDatadog LLM Observabilityを選定 44 生成AIアプリケーション本番運用における実践知 -技術的な工夫-
45. ⓒ atama plus Inc. モニタリングSaaSと連携したLLM実行監視 • Datadog LLM Observability を用いてユーザーとLLMの会話の流れを記録 • クライアントサイドで発行した session_id を agent に渡す 45 生成AIアプリケーション本番運用における実践知 -技術的な工夫-
46. ⓒ atama plus Inc. モニタリングSaaSと連携したLLM実行監視 • DatadogでUser Sessionが特定できるので、一連の解説支援の流れを 確認することができる 46 生成AIアプリケーション本番運用における実践知 -技術的な工夫- session_id が trace の tagとして埋め込まれる
47. ⓒ atama plus Inc. モニタリングSaaSと連携したLLM実行監視 • LatencyやCostの傾向もモニタリング可能 47 生成AIアプリケーション本番運用における実践知 -技術的な工夫-
48. ⓒ atama plus Inc. 生成AIアプリケーション 本番運用の工夫 48 ドメイン固有の課題 品質保証の工夫 技術的な工夫
49. ⓒ atama plus Inc. AIプロダクト品質保証ガイドライン • AI プロダクト品質保証コンソーシアムが整備 • LLMにおける品質特性として以下を定義 • 回答性能 • 事実性・誠実性 • 倫理性・アラインメント • 頑健性（ロバスト性） • AIセキュリティ 49 生成AIアプリケーション本番運用における実践知 –品質保証の工夫-
50. ⓒ atama plus Inc. 特性を勘案した品質保証検査 • AI ステップ解説のシステム特性（自由入力のないI/F、コンテキスト参照） から、以下の観点について重点的に品質保証 • 回答性能 • 事実性・誠実性 50 生成AIアプリケーション本番運用における実践知 –品質保証の工夫-
51. ⓒ atama plus Inc. ユーザーからのフィードバックを収集する仕組み • 機能利用後、問題が解決したかのフィードバックを常に得られる体験 • 解決率をモニタリングし、解決しなかったセッションを分析するなどして 高い品質を維持する工夫を実施 51 生成AIアプリケーション本番運用における実践知 –品質保証の工夫- 解決率75%をKPIに設定 して定期モニタリング
52. ⓒ atama plus Inc. 生成AIアプリケーション 本番運用の工夫 52 ドメイン固有の課題 品質保証の工夫 技術的な工夫
53. 教育サービスとしての責任
54. ⓒ atama plus Inc. 54 教務的・学問的に 正しい回答を提供できているか？ 教務的に正しい回答を 生成する必要がある
55. ⓒ atama plus Inc. 「教育ドメイン」ならではの課題 • ユーザー体験相当のUIで会話履歴を参照できるツールを開発し 社内の教務知識を持ったスペシャリストが回答内容の正確性を精査 55 生成AIアプリケーション本番運用における実践知 –ドメイン固有の課題-
56. ⓒ atama plus Inc. 生成AIアプリケーション 本番運用の工夫 56 ドメイン固有の課題 品質保証の工夫 技術的な工夫 prompt caching によるコスト最適化 LLM as Judge によるモデル比較評価 モニタリングSaaSと連携した実行監視 品質保証ガイドラインに沿った品質保証 フィードバック収集とKPIモニタリング ドメインエキスパートによる回答内容の事後検査
57. ⓒ atama plus Inc. アジェンダ 1. これまでのatama plusの挑戦と危機感 2. 生成AIの活用：AIステップ解説 3. 生成AIアプリケーション本番運用における実践知 4. AWSによる支援体制 5. まとめ 57
58. ⓒ atama plus Inc. AWS Generative AI Innovation Centerとの協業 • AWS Generative AI Innovation Center • 生成AIアプリケーションの本番稼働に向けて、生成AIの専門家の支援を 受けることができるプログラム • 一般的なアドバイスだけでなく、実際のコード・プロンプト・データを 参照した実践的な開発支援を受けることができる 58 AWSによる支援体制
59. ⓒ atama plus Inc. AWS Generative AI Innovation Centerの支援事例 • 回答品質の向上 • 特定のパターンにおいて、生成AIが不正確な回答を繰り返す事象 • 実際のプロンプトをAWSのスペシャリストにレビューしてもらい、改善案 を提案してもらって実装 • コスト削減の支援 • 生成AIのコストは変動費構造なので、利用が伸びるほどにコストがかかる • アーキテクチャの変更により、変動費分を削減するアドバイス 59 AWSによる支援体制
60. ⓒ atama plus Inc. アジェンダ 1. これまでのatama plusの挑戦と危機感 2. 生成AIの活用：AIステップ解説 3. 生成AIアプリケーション本番運用における実践知 4. AWSによる支援体制 5. まとめ 60
61. 2022年12月 post 生成AI時代 2022年12月 post 生成AI時代
62. ⓒ atama plus Inc. 62 生成AIアプリケーションは スピーディに公開できる時代
63. ⓒ atama plus Inc. 63 一方で 本番環境でユーザーに生成AIアプリケーションを 直接利用してもらう体験なので 犠牲にできない観点も多い 一方 本番アプリケーションとして公開するには 蔑ろにできない要件が多数存在する
64. ⓒ atama plus Inc. 生成AIアプリケーション 本番運用の工夫 64 ドメイン固有の課題 品質保証の工夫 技術的な工夫 prompt caching によるコスト最適化 LLM as Judge によるモデル比較評価 モニタリングSaaSと連携した実行監視 品質保証ガイドラインに沿った品質保証 フィードバック収集とKPIモニタリング ドメインエキスパートによる回答内容の事後検査
65. 今後も、生成AIを活用した 新しい学びの形を追求していきたい
66. 教育に、人に、社会に、 次の可能性を。 M i s s i o n
67. AIで、一人ひとりに、最短で「わかる！」を。