Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文輪読会 第30回 "SQL-PALM: IMPROVED LARGE LANGUAGE M...

AcademiX
November 23, 2023
97

論文輪読会 第30回 "SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL"

AcademiX が開催した 第30回 論文輪読会 資料

日時:2023/11/19
論文タイトル:SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL

<概要>
LLMベースのText-to-SQLモデルであるSQL-PaLM。few shot SQL-PaLMとfine-tuned SQL-PaLMを検証。両者においてSOTAを上回った。

AcademiX

November 23, 2023
Tweet

More Decks by AcademiX

Transcript

  1. 論文の概要 • タイトル:SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL

    • URL:https://arxiv.org/pdf/2306.00739.pdf • 提案手法:SQL-PaLM:PaLM-2を使用した、Text-to-SQLのモデル ◦ ファインチューニングを行った場合と、few-shotを使用した場合を比較している。 ◦ LLMをTexrt-to-SQLタスクに対して、ファインチューニングした初の研究。
  2. Text-to-SQL関連研究 • T5などの言語モデルをファインチューニング ◦ PICARD、RASAT、RESDSQL • LLMで、zero-shotやfew-shotで生成した場合でも、ある程度はうまくいっている。 ◦ 上記のT5をファインチューニングしたものと比べると劣る •

    LLMを用いて様々な工夫を行うことでSOTAを上回る。 ◦ DIN-SQL ◦ few-shot、サブタスクに分解をして生成、プロンプトにエラーメッセージを使用 ◦ プロンプトのテンプレートを作成することは手間がかかる。
  3. 核となる手法  • Few-shot SQL-PaLM ◦ 「DBの情報+質問+SQL」を生成したいSQLの前に置く。 ◦ データベースの情報は、テーブル・カラム・データタイプ・主キー・外部キー ◦ self-consistency(自己整合性)を適用する。

    • Fine-tuned SQL-PaLM ◦ PaLM-2をSpiderを使用してファインチューニングする。 ▪ Spider:166のDBの7000の学習サンプルと、20のDBの1034の評価サンプル ◦ 入力はDBの説明と質問 ◦ 出力はSQL
  4. 結果 評価: • execution accuracy (EX) ◦ 実行結果がground truthに一致するか •

    test-suite accuracy (TS) ◦ TSを使用 結果: • few shot SQL-PaLMは、 ◦ few shot GPT-4を9.9% ◦ few shot CodeX-Davinciを15.8% ◦ zero shot ChatGPTを17% 上回った。 • Fine-tuned SQL-PaLMはFew-shot SQL-PaLMより1%上回った。
  5. まとめ • LLMベースのText-to-SQLモデルSQL-PaLM ◦ few shot SQL-PaLMとfine-tuned SQL-PaLMを検証 • ファインチューニングされた

    SQL-PaLMと同様に、Few-shot SQL-PaLMは従来のfine-tunedベースの SOTAを3.1%上回った。 • few shot SQL-PaLMは、 ◦ few shot GPT-4を9.9% ◦ few shot CodeX-Davinciを15.8% ◦ zero shot ChatGPTを17% 上回った。 • Fine-tuned SQL-PaLMでは,精度はFew-shot SQL-PaLMよりもさらに1%優れている。 • SQL-PaLMと同様に、SQL-PaLMの生成能力を向上させることができる。 ◦ SQL-PaLMは複数のテーブルを結合する複雑な SQL-PaLMは複数のテーブルを複数のキー ワードで結合する複雑な SQL出力を生成できる。