Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Text-to-SQLをLangSmithで評価
Search
西岡 賢一郎 (Kenichiro Nishioka)
July 26, 2024
Business
0
220
Text-to-SQLをLangSmithで評価
機械学習の社会実装勉強会第37回 (
https://machine-learning-workshop.connpass.com/event/324630/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
July 26, 2024
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
71
DeepSeekを使ったローカルLLM構築
knishioka
0
140
業務ツールをAIエージェントとつなぐ - Composio
knishioka
0
190
LangGraphを使ったHuman in the loop
knishioka
0
230
AIシステムの品質と成功率を向上させるReflection
knishioka
0
43
LangGraph Templatesによる効率的なワークフロー構築
knishioka
0
140
AIエージェントの開発に特化した統合開発環境 LangGraph Studio
knishioka
0
180
LangGraphを用いたAIアプリケーションにおけるメモリ永続化の実践
knishioka
1
510
効果的なLLM評価法 LangSmithの技術と実践
knishioka
1
450
Other Decks in Business
See All in Business
Paris 2024 ~パリ・パラリンピック プチ紀行~:2720 Japan O.K. ロータリーEクラブ・AITO 代表 紅葉谷 昌代 会員
2720japanoke
0
220
社会の厳しさを知った壮年男性の物語
segavvy
1
670
fulltan_lt.pdf
icoriha
2
170
AI駆動プロダクト開発で最速価値検証
nakawai
0
260
事業説明資料
livequalityhub
0
740
株式会社ハイパー 会社紹介資料
hypermarketingteam
0
170
イオングローバルSCM 会社概要
agscm
0
4.2k
Clear Inc. / we are hiring
clear_inc
0
32k
採用ピッチ(2025年4月2日更新)
canvas_recruit
1
950
株式会社ハイクリ 採用デッキ
hicrea123
0
510
株式会社Legalscape
legalscape
1
110
私の履歴書:2720 Japan O.K. ロータリーEクラブ・株式会社A.D.C.代表・しろくま着物百貨店株式会社 代表 四⽅ 美由紀 会員
2720japanoke
0
580
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Code Review Best Practice
trishagee
67
18k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
22
2.6k
Documentation Writing (for coders)
carmenintech
69
4.7k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
We Have a Design System, Now What?
morganepeng
51
7.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
31
4.7k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
Transcript
Text-to-SQLをLangSmithで評価 2024/07/27 第37回勉強会
自己紹介 • 名前: 西岡 賢一郎 ◦ Twitter: @ken_nishi ◦ note:
https://note.com/kenichiro ◦ YouTube: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル (https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg) • 経歴 ◦ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得 ◦ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社ト ライディアを設立 ◦ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職 ◦ CDPのスタートアップ (Sr. CSM)・株式会社データインフォームド (CEO)・株式会社ディース タッツ (CTO) ◦ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験
Text-to-SQLの背景と必要性
Text-to-SQLとは • 自然言語の質問やコマンドをSQLクエリに変換する技術 • 例: "30歳以上のユーザーの平均年齢は?" → "SELECT AVG(age) FROM
users WHERE age >= 30;" • Text-to-SQLの仕組み ◦ 自然言語理解 (NLU): ▪ ユーザーが入力した自然言語の質問や要求を解析して、意図を理解します。 ◦ 文脈と構造の抽出: ▪ 質問の文脈や構造を抽出し、どのデータベースのテーブルやカラムが関係して いるかを特定します。 ◦ SQLクエリ生成: ▪ 抽出された情報を基に、適切なSQLクエリを生成します。 ◦ 実行と結果の表示: ▪ 生成されたSQLクエリをデータベースに対して実行し、その結果をユーザーに 返します。
なぜText-to-SQLが必要か • データベースへのアクセシビリティ向上 ◦ SQL非専門家でもデータ分析が可能に ◦ ビジネスユーザーが直接データにアクセス可能 • 開発効率の向上 ◦
繰り返し行われるクエリ作成の自動化 ◦ プロトタイピングの迅速化 • 自然言語インターフェースの実現 ◦ チャットボットやAIアシスタントへの統合 ◦ よりユーザーフレンドリーなデータ探索ツールの 開発 データ抽出依頼 データ抽出 Text-to SQLで データ抽出
Text-to-SQLの評価方法
評価指標の例 1. 正確性 (Correctness) ◦ 生成されたSQLが意図した結果を返すか 2. 効率性 (Efficiency) ◦
生成されたSQLが最適化されているか 3. 可読性 (Readability) ◦ 生成されたSQLが人間にとって理解しやすいか 4. 実行精度 (Execution Accuracy) ◦ 実行結果が期待される結果と一致するか
LangSmithを使ったText-to-SQL評価のデモ
LangSmithの概要 LLMアプリケーション開発でよく使われるLangChainのサー ビスである「LangSmith」は、LLMを楽に評価できる機能を 提供している。 • Evaluatorの設定 ◦ コードを書かずにEvaluatorを設定し、データ セットに紐づけられる •
PlayGround ◦ プログラムを書かずにプロンプトやモデルの設 定をテスト • 中間ステップの評価 ◦ RAGパイプラインなどの中間ステップを詳細に 評価 • 標準Evaluatorの利用: ◦ カスタムコードを書くことなく、標準の Evaluatorを使用 • Annotationの利用 ◦ 実行結果に注釈を追加し、詳細なフィードバッ クを提供
デモ 評価プロセス 1. 評価対象のText-to-SQL modelの定義 2. 評価用データセットの作成 3. カスタム評価器の設定 4.
評価の実行と結果の分析 デモの主要ポイント • SQLiteデータベースの使用 • LangChainのSQLエージェントの活用 • カスタムLLM評価器の実装 • 効率性スコアの計算 • LangSmithでの評価実行と結果の可視化
まとめ • Text-to-SQLはデータアクセシビリティと開発効率を向上 • 多面的な評価が重要: 正確性、効率性、可読性、実行精度 • LangSmithを使用することで、包括的かつ効率的な評価が可能 • 継続的な改善と最適化のためのツールとしてのLangSmithが便利