Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Text-to-SQLをLangSmithで評価
Search
西岡 賢一郎 (Kenichiro Nishioka)
July 26, 2024
Business
0
130
Text-to-SQLをLangSmithで評価
機械学習の社会実装勉強会第37回 (
https://machine-learning-workshop.connpass.com/event/324630/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
July 26, 2024
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
AIエージェントの開発に特化した統合開発環境 LangGraph Studio
knishioka
0
47
LangGraphを用いたAIアプリケーションにおけるメモリ永続化の実践
knishioka
0
140
効果的なLLM評価法 LangSmithの技術と実践
knishioka
0
260
LangGraphのノード・エッジ・ルーティングを深堀り
knishioka
0
340
LangGraphでマルチエージェントワークフローを構築
knishioka
0
300
LLMアプリケーションで使用するVector Databaseの比較
knishioka
0
1.6k
LLMアプリケーションの デバッグ・テスト・評価・監視を楽にするLangSmith
knishioka
0
270
LangChainから学ぶプロンプトエンジニアリングテクニック
knishioka
0
250
チャット履歴と質問を組み合わせLLMの回答精度を高めるLangChain Conversational Retrieval QA
knishioka
0
830
Other Decks in Business
See All in Business
株式会社日本ケアコミュニケーションズ会社紹介資料(新卒採用)
nccsaiyo
0
120
その失敗は多様性があれば解決していたかもしれない
sena2518
1
680
Company Introduction Slides
recruiting
0
970
株式会社ギブリー会社説明資料
givery_recruit
0
36k
ワンキャリア 会社説明資料 / Company Deck
onecareer
5
180k
★会社説明資料★
ehealthcare2004
0
120
アッテル会社紹介資料/culture deck
attelu
10
13k
GA technologies Co.,Ltd. Corporate Story
gatechnologies
2
760
アジャイルの知見の少ないメンバーの多いチームづくりの1年半をふりかえる
jnuank
1
270
NTTコミュニケーションズ イノベーションセンター テクノロジー部門 紹介デッキ / NTT Communications Innovation Center Technology Deck
nttcom
2
3.7k
朝日新聞社 ITエンジニア キャリア採用 紹介資料
asahi_cto
0
270
循環型コミュニティの構築〜社内から社外へ持続可能な繋がりを作ろう〜
yuhkoito
0
600
Featured
See All Featured
The Cost Of JavaScript in 2023
addyosmani
43
5.8k
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
What's new in Ruby 2.0
geeforr
341
31k
The Art of Programming - Codeland 2020
erikaheidi
50
13k
The Language of Interfaces
destraynor
154
24k
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
[RailsConf 2023] Rails as a piece of cake
palkan
49
4.7k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
158
15k
Bootstrapping a Software Product
garrettdimon
PRO
304
110k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Large-scale JavaScript Application Architecture
addyosmani
509
110k
Transcript
Text-to-SQLをLangSmithで評価 2024/07/27 第37回勉強会
自己紹介 • 名前: 西岡 賢一郎 ◦ Twitter: @ken_nishi ◦ note:
https://note.com/kenichiro ◦ YouTube: 【経営xデータサイエンスx開発】西岡 賢一郎のチャンネル (https://www.youtube.com/channel/UCpiskjqLv1AJg64jFCQIyBg) • 経歴 ◦ 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得 ◦ 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社ト ライディアを設立 ◦ トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職 ◦ CDPのスタートアップ (Sr. CSM)・株式会社データインフォームド (CEO)・株式会社ディース タッツ (CTO) ◦ 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験
Text-to-SQLの背景と必要性
Text-to-SQLとは • 自然言語の質問やコマンドをSQLクエリに変換する技術 • 例: "30歳以上のユーザーの平均年齢は?" → "SELECT AVG(age) FROM
users WHERE age >= 30;" • Text-to-SQLの仕組み ◦ 自然言語理解 (NLU): ▪ ユーザーが入力した自然言語の質問や要求を解析して、意図を理解します。 ◦ 文脈と構造の抽出: ▪ 質問の文脈や構造を抽出し、どのデータベースのテーブルやカラムが関係して いるかを特定します。 ◦ SQLクエリ生成: ▪ 抽出された情報を基に、適切なSQLクエリを生成します。 ◦ 実行と結果の表示: ▪ 生成されたSQLクエリをデータベースに対して実行し、その結果をユーザーに 返します。
なぜText-to-SQLが必要か • データベースへのアクセシビリティ向上 ◦ SQL非専門家でもデータ分析が可能に ◦ ビジネスユーザーが直接データにアクセス可能 • 開発効率の向上 ◦
繰り返し行われるクエリ作成の自動化 ◦ プロトタイピングの迅速化 • 自然言語インターフェースの実現 ◦ チャットボットやAIアシスタントへの統合 ◦ よりユーザーフレンドリーなデータ探索ツールの 開発 データ抽出依頼 データ抽出 Text-to SQLで データ抽出
Text-to-SQLの評価方法
評価指標の例 1. 正確性 (Correctness) ◦ 生成されたSQLが意図した結果を返すか 2. 効率性 (Efficiency) ◦
生成されたSQLが最適化されているか 3. 可読性 (Readability) ◦ 生成されたSQLが人間にとって理解しやすいか 4. 実行精度 (Execution Accuracy) ◦ 実行結果が期待される結果と一致するか
LangSmithを使ったText-to-SQL評価のデモ
LangSmithの概要 LLMアプリケーション開発でよく使われるLangChainのサー ビスである「LangSmith」は、LLMを楽に評価できる機能を 提供している。 • Evaluatorの設定 ◦ コードを書かずにEvaluatorを設定し、データ セットに紐づけられる •
PlayGround ◦ プログラムを書かずにプロンプトやモデルの設 定をテスト • 中間ステップの評価 ◦ RAGパイプラインなどの中間ステップを詳細に 評価 • 標準Evaluatorの利用: ◦ カスタムコードを書くことなく、標準の Evaluatorを使用 • Annotationの利用 ◦ 実行結果に注釈を追加し、詳細なフィードバッ クを提供
デモ 評価プロセス 1. 評価対象のText-to-SQL modelの定義 2. 評価用データセットの作成 3. カスタム評価器の設定 4.
評価の実行と結果の分析 デモの主要ポイント • SQLiteデータベースの使用 • LangChainのSQLエージェントの活用 • カスタムLLM評価器の実装 • 効率性スコアの計算 • LangSmithでの評価実行と結果の可視化
まとめ • Text-to-SQLはデータアクセシビリティと開発効率を向上 • 多面的な評価が重要: 正確性、効率性、可読性、実行精度 • LangSmithを使用することで、包括的かつ効率的な評価が可能 • 継続的な改善と最適化のためのツールとしてのLangSmithが便利