Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIシステムの品質と成功率を向上させるReflection
Search
西岡 賢一郎 (Kenichiro Nishioka)
November 30, 2024
Technology
0
54
AIシステムの品質と成功率を向上させるReflection
機械学習の社会実装勉強会第41回 (
https://machine-learning-workshop.connpass.com/event/336915/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
November 30, 2024
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
ローカルLLMでファインチューニング
knishioka
0
150
自作MCPサーバ入門
knishioka
0
7
成功と失敗の実像と生成AI時代の展望
knishioka
0
46
MCPが変えるAIとの協働
knishioka
1
180
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
150
DeepSeekを使ったローカルLLM構築
knishioka
0
190
業務ツールをAIエージェントとつなぐ - Composio
knishioka
1
230
LangGraphを使ったHuman in the loop
knishioka
0
290
LangGraph Templatesによる効率的なワークフロー構築
knishioka
0
190
Other Decks in Technology
See All in Technology
rubygem開発で鍛える設計力
joker1007
2
190
CI/CD/IaC 久々に0から環境を作ったらこうなりました
kaz29
1
160
第9回情シス転職ミートアップ_テックタッチ株式会社
forester3003
0
220
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
200
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
330
Agentic DevOps時代の生存戦略
kkamegawa
1
1.3k
Amazon Bedrockで実現する 新たな学習体験
kzkmaeda
1
510
製造業からパッケージ製品まで、あらゆる領域をカバー!生成AIを利用したテストシナリオ生成 / 20250627 Suguru Ishii
shift_evolve
PRO
1
130
IIWレポートからみるID業界で話題のMCP
fujie
0
780
初めてのAzure FunctionsをClaude Codeで作ってみた / My first Azure Functions using Claude Code
hideakiaoyagi
1
210
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
110
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
240
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Stop Working from a Prison Cell
hatefulcrawdad
270
20k
How to train your dragon (web standard)
notwaldorf
92
6.1k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
The Straight Up "How To Draw Better" Workshop
denniskardys
233
140k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
490
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Code Reviewing Like a Champion
maltzj
524
40k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Gamification - CAS2011
davidbonilla
81
5.3k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Transcript
AIシステムの品質と成功率を向上させるReflection 機械学習の社会実装勉強会 第41回 (2024/11/30) 1
自己紹介 名前: 西岡 賢一郎 X: @ken_nishi LinkedIn: https://www.linkedin.com/in/kenichiro-nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka
note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro-nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社トライディアを 設立 トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式会社ディースタッツ (CTO)・CDPのスタートアップ (Sr. CSM) 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験 2
本日の課題認識 1. 通常のAIの課題 単一の応答に依存 回答の修正に人間が介入 2. 解決の方向性 人間の学習プロセスからヒントを得る 振り返り(Reflection)の重要性 システマティックな改善プロセス
3
人間の学習プロセスに学ぶ 1. 行動のみする人の特徴 とにかく行動するが、振り返りをしないタイプ 結果:アウトプットは早いが品質が低い 2. 自己反省をして改善する人の特徴 行動後に結果を振り返り、次に活かすタイプ 結果:徐々に改善・成長を実現 AIにもこの能力を実装することが重要
4
なぜAIにReflectionが必要か? AIの自己評価による品質向上 AIが自信の生成した回答を評価し,それを元に修正 人間が介入せずに回答を修正することができる 回答に応じて評価を柔軟に修正可能 初期プロンプトにすべての条件を書く必要がない 生成された回答に応じて評価・修正が可能 5
Reflection Agentのアーキテクチャ 生成された回答をLLMに評価させ修正する 6
エッセイ改善の例 初期エッセイ(抜粋) 環境保護は私たちの未来にとって重要です。 地球温暖化は深刻な問題です。 私たちは行動を起こす必要があります。 Reflectionプロセス 1. 評価:具体性不足、データ欠如 2. 改善案:統計データ追加、具体例提示
改善後 環境保護は、人類の持続可能な未来に不可欠です。 IPCC の2023 年報告によると、過去10 年で世界の平均気温は1.1 ℃上昇し、生態系に深刻な影響を及ぼしています。 例えば、北極圏の氷床面積は年間約13% の割合で減少し... 7
デモ: ビジネスアイディア生成Agent Reflection Agentのやること テーマに沿ってビジネスアイティアを生成 投資家目線で批評・修正点の提示 投資家からのフィードバックを元にビジネスアイディアを修正 ソースコード https://github.com/knishioka/machine-learning- workshop/blob/main/langchain/reflection_agent.ipynb
8
Reflection Agentの実務活用例 1. カスタマーサポート Before: 一般的な応答 After: 過去の類似ケース参照による最適解提示 2. 技術文書作成
Before: 基本的な仕様書 After: エッジケースを考慮した包括的文書 3. コードレビュー Before: 表面的なチェック After: セキュリティ面も含めた多角的レビュー 9
今後の展望:Reflectionの進化 1. 現在のReflection(反省者型) 行動後の振り返りと改善 エラー検出と修正 品質向上の実現 2. 将来の発展(戦略的行動者型) 事前の仮説設定と計画立案 結果予測に基づく最適化
自律的な意思決定と改善 10
結論:ReflectionがもたらすAIの進化 1. 品質向上 エラー率の低減や一貫性の向上や文脈理解の深化が期待できる 2. 効率化 人間が介入する必要がなくなり,作業時間の短縮ができる 3. 発展の可能性 戦略を練る高度な自己改善能力などを設けることにより,より人間に近いシステ
ムとなる 11
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 12