Azure Durable Functions で作った NL2SQL Agent の精度向上に取り組んだ話/jat08

第8回 Azure Travelers 勉強会 仙台の旅のセッション資料です。

Transcript

1. Azure Durable Functions で作った NL2SQL Agent の精度向上に取り組んだ話 2026.01.24 第8回 Azure Travelers 勉強会 仙台の旅
2. 自己紹介 名前 原 敏之 個人 X (Twitter) : @TonyTonyKun ROMANCE DAWN for the new world • https://gooner.hateblo.jp/ Microsoft MVP for Microsoft Azure 2017 〜 仕事 株式会社ネクストスケープ Copyright© 2026, JAZUG All Rights Reserved. 2
3. モチベーション チャットで自然言語を入力するだけでデータマートの情報を 取得できる仕組みが欲しい Copyright© 2026, JAZUG All Rights Reserved. 3 NL2SQL (Text to SQL) は、自然言語を SQL に変換する技術です。 SQL を書けない人でもデータベースから情報を取得でき、また SQL に詳しいエンジニア の作業効率も大きく向上できます。 Data Lake Data Mart ダッシュボード グラフ / 表 チャット データ基盤 質問をクエリに変換して実行 クエリ結果を回答に変換 パイプライン 今月の売上は？ １億円です。 NL2SQL
4. アーキテクチャ Azure Durable Functions で NL2SQL Agent を作る Copyright© 2026, JAZUG All Rights Reserved. 4 Orchestrator GetAgentToRun (Function Calling) Agent 選択 NL2SQL Agent 実行 NL2SQL Agent Execute SQL Agent SynthesizeAgentCallResults SQL Query 実行 回答生成 チャットから質問を送信 Activity Azure Durable Functions チャットに回答を返却 AOAI AOAI AOAI SQL Database Cosmos DB 本日のテーマ ： NL2SQL Agent の精度をどのように向上させるか？
5. アプローチ①：シンプルな NL2SQL の構成 生成 AI を使って自然言語から SQL クエリを生成する Copyright© 2026, JAZUG All Rights Reserved. 5 クエリ生成 自然言語による質問 SQL DB クエリ実行 回答生成 クエリ結果 LLM LLM 生成 AI に丸投げする構成では、クエリ変換の精度が出ない・・・ ※ クエリ生成では、データベースのテーブル定義やカラムの意味をシステムプロンプトとして与える。
6. アプローチ①の課題 正解率は50%くらい、残りの50%は意図したクエリを生成できない 類似したテーブルがある場合、参照するテーブルを間違ってしまう テーブルの結合が苦手 Group By 句の指定を間違いやすい インデックスの考慮が不十分なので、大量データのパフォーマンス懸念 ユーザーには見せたくないカラムの値を返してしまう セキュリティ上の機微な情報を保護することを100％保証できない Copyright© 2026, JAZUG All Rights Reserved. 6 NL2SQL の “精度向上” と “セキュリティ担保” をどのように実現するか？ ・システムプロンプトのチューニングには限界がある ・間違ったクエリの場合は再生成や修正提案させてもいいが、チャットのレスポンスが劣化する
7. アプローチ②：RAG + SQL View で課題解決 RAG（クエリテンプレート） ＋ SQL View を組み込む Copyright© 2026, JAZUG All Rights Reserved. 7 テンプレート 検索(RAG) 自然言語による質問 SQL DB (View) クエリ実行 回答生成 クエリ結果 LLM 検索 パラメータ抽出・検証 判定・評価 クエリ生成 セキュリティ検証 ・ベクトル検索 ・キーワード検索 ・スコア統合（RRF） ・パラメータ抽出 質問から条件抽出 ・パラメータ検証 必須有無 型や範囲など 検索候補が質問に適合し ているかを LLM で判定 テンプレートのパラメー タを埋め込む ・SQL 構文チェック ・インジェクション対策 Description Parameter Query 売上を取得する 日付(年月日) SELECT * FROM Sales WHERE 日付 = @date 予算を取得する 日付(年月) SELECT * FROM Budget WHERE 日付 = @date LLM View は安全な公開用スキーマ ユーザーに見せたくない列を除外する
8. アプローチ②を組み込んだ結果 正解率は70%に向上、テンプレートでクエリの品質担保 テーブル結合、Group By 句、インデックスを適切に指定できる SQL View でセキュリティ上の機微なデータを100％保護 View の列名の日本語化で、LLM によるパラメータ判定精度も向上 Copyright© 2026, JAZUG All Rights Reserved. 8 クエリテンプレートの内容や粒度を改善することで、更なる精度の向上が期待できそう ・類似したテンプレートを集約して、ある程度大きな粒度のユースケース単位で作る ・Description を「どんなときにこのテンプレートを使うのか」という観点に変更する
9. まとめ NL2SQL を使って SQL を書く時間を減らし、データから洞察 を得ることに時間を使いたい。 クエリテンプレート＋ SQL View のアプローチは精度向上に効 果的で現実的な手法だと思われる。 自然言語の曖昧さをどう扱うかが、NL2SQL 成功の最大の鍵。 Copyright© 2026, JAZUG All Rights Reserved. 9