【ChatGPTの基礎と応用】自然言語処理の最新動向

【ChatGPTの基礎と応用】  自然言語処理の最新動向から  プロダクトでの活用を考える 

190 イタンジのDX推進への取り組みは、 DX銘柄2022の選定を通じて評価されています。(3年連続) 2023年1月末

大規模言語モデルの基礎  - ChatGPTをざっくり理解する -  GA technologies AISC 岩隈 

注意  サブタイトルにある通り「ざっくり」理解するための資料となっているため  分かりやすさを優先し、表現が正確ではない部分があります。🙇 

自己紹介 

P011　　　 0. 導入  資料のゴールと流れ  P017　　　 1. 言語モデルって？  言語モデルとGPT  P044　　　 2.
ChatGPTに至るまで  GPT-3が様々なタスクをこなすまで  P058　　　 3. 最近の話題  GPT-4周りについて少しだけ  P062　　　 4. 参考資料  大規模言語モデルの基礎  - ChatGPTをざっくり理解する - 

0. 導入 

ChatGPT  13 2022年11月に公開された、OpenAIが開発したAIチャットボット  https://openai.com/blog/chatgpt  

ChatGPT  14 何ができる？  -> 自然言語処理のタスクであればだいたいできる！  https://platform.openai.com/docs/guides/chat   ドラフト作成  コード作成  資料に関する回答 
チャットボット  自然言語インターフェース  チューター  翻訳  キャラクターなりきり  OpenAI APIドキュメント  要約  質疑応答  翻訳  代表的な使い方  コード作成  なりきり  … 

ChatGPT  15 どうやってできている？  Wikipediaより  https://ja.wikipedia.org/wiki/ChatGPT  

ChatGPT  16 どうやってできている？  「言語モデル」と「GPT」というキーワードをよく見る  (GPT)  Wikipediaより  https://ja.wikipedia.org/wiki/ChatGPT  

この発表のゴール：ChatGPTをざっくり理解する  17 1. 言語モデル、GPTのイメージを掴んでもらう  2. GPTが様々なタスクをこなすようになるまでの道のりを知ってもらう  GPT-1  GPT-2  GPT-3  (davinci) 
InstructGPT  (text-davinci-003)   ChatGPT  (gpt-3.5-turbo)   GPT-4  要約  質疑応答  翻訳  …  1章  2章  3章  2020.5  2019.2  2018.6  2022.1  2022.11  2023.3  ※　丸の大きさは使うのに必要な  　　リソースを大きさを相対的に表しています 

1. 言語モデルって？ 

前提：機械学習  19 機械学習とは、データから自動的にルールを学習する技術    「どんなモデルにどんなデータをどのように学習させるか」で決まる  モデル  データ学習済み  モデル  問題設定 

前提：機械学習  20 機械学習とは、データから自動的にルールを学習する技術    「どんなモデルにどんなデータをどのように学習させるか」で決まる  モデル  データ学習済み  モデル  例：画像分類 
CNN  画像とラベルのペア  , “猫”  , “犬”  画像からラベルを予測するように  問題設定  学習後  “犬”  画像分類  モデル  画像は次のデータセットを利用しています https://www.kaggle.com/datasets/tongpython/cat-and-dog  

言語モデルとは  21 「単語（token）の並びから続く単語（token）を予測する」ように  学習されたモデルのこと  🤔 

言語モデルとは  22 「単語（token）の並びから続く単語（token）を予測する」ように  学習されたモデルのこと  ※　説明のしやすさのため、ここでの例は英語にしています...🙇  A language model is  
???

??? 言語  モデル  …  ※　確率分布はOpenAI API playgroundで利用できるtext-davinci-003(temperature=0)のものを記載しています   続く単語の確率を予測する 

??? 言語  モデル  …  a  何らかの方法で続く単語を決定する（サンプリング）  ※　確率分布はOpenAI API playgroundで利用できるtext-davinci-003(temperature=0)のものを記載しています  

言語モデルとは  25 「単語（token）の並びから続く単語（token）を予測する」ように  学習されたモデルのこと  ※　説明のしやすさのため、ここでの例は英語にしています...🙇  A language model is a
  ??? 言語  モデル  決定した単語を並びに追加する  ※　確率分布はOpenAI API playgroundで利用できるtext-davinci-003(temperature=0)のものを記載しています  

  ??? 言語  モデル  …  続く単語の確率を予測する  ※　確率分布はOpenAI API playgroundで利用できるtext-davinci-003(temperature=0)のものを記載しています  

  ??? 言語  モデル  …  probability  何らかの方法で続く単語を決定する（サンプリング）  ※　確率分布はOpenAI API playgroundで利用できるtext-davinci-003(temperature=0)のものを記載しています  

probability   ??? 言語  モデル  決定した単語を並びに追加する 

言語モデルとは  29 「単語（token）の並びから続く単語（token）を予測する」ように  学習されたモデルのこと  ※　説明のしやすさのため、ここでの例は英語にしています...🙇  distribution over sequences of words.
  ??? 言語  モデル  この操作を繰り返していくと、文章が生成できる！！  A language model is a probability  

言語モデルとは  30 「単語（token）の並びから続く単語（token）を予測する」ように  学習されたモデルのこと  ※　説明のしやすさのため、ここでの例は英語にしています...🙇  distribution over sequences of words.
  ??? 言語  モデル  この操作を繰り返していくと、文章が生成できる！！  A language model is a probability   A language model is   a probability distribution   over sequences of words.   全体としては与えられた文章（入力）に自然に続く文章（出力）を生成するモデル 

言語モデルの学習  31 「どんなモデルにどんなデータをどのように学習させるか」  モデル  データ言語  モデル  問題設定  学習後  A
language model is   a 言語  モデル  A language model is  ??? 単語の並びから続く単語を予測するように： 

言語モデルの学習  32 「どんなモデルにどんなデータをどのように学習させるか」  モデル  データ言語  モデル  問題設定  A language
model is  ??? 単語の並びから続く単語を予測するように：  Wikipedia（https://en.wikipedia.org/wiki/Machine_learning ）  単語の並びと続く単語のペア  Machine learnng (ML) is a , field  Machine learnng algorithms build a , model  以下の手順で学習データを機械的かつ大量に作成できる  1. WikipediaのようなパブリックなWebページから文章を抽出  2. 文章を単語で分割、上記のような単語の並びと続く単語のペアへ 

言語モデルの学習  33 「どんなモデルにどんなデータをどのように学習させるか」  モデル  データ言語  モデル  問題設定  A language
model is  ??? 単語の並びから続く単語を予測するように：  単語の並びと続く単語のペア  Machine learnng (ML) is a , field  Transformerと呼ばれる  モデルを使うのが最近の主流  Machine learnng algorithms build a , model 

言語モデルは何を学習している？  34 左の英語の文章に続く単語を埋める問題を考えてみてください！   In my free time, I like
to {run, banana} 文法的な知識 First grade arithmetic exam: 3 + 8 + 4 = {15, 11} 算数力 [...] Iroh went into the kitchen to make some tea. Standing next to Iroh, Zuko pondered his destiny. Zuko left the {kitchen, store} 空間的な論理思考力 The word for “pretty” in Spanish is {bonita, hola} 翻訳する能力 Movie review: I was engaged and on the edge of my seat the whole time. The movie was {good, bad} 感情を推定する能力 The capital of Denmark is {Copenhagen, London} 世界に関する知識 I went to the zoo to see giraffes, lions, and {zebras, spoon} 単語の意味に関する知識 ※　英語の例は次の資料から引用しています： Scaling, emergence, and reasoning (Jason Wei, NYU)

First grade arithmetic exam: 3 + 8 + 4 =
{15, 11} 算数力言語モデルは何を学習している？  35 言語モデルも続く単語を予測するという問題を通して  暗黙的に「文章理解に役立つ一般的な知識や能力を学習している」と考えられる！  ※　英語の例は次の資料から引用しています： Scaling, emergence, and reasoning (Jason Wei, NYU) 左の英語の文章に続く単語を埋める問題を考えてみてください！   In my free time, I like to {run, banana} 文法的な知識 [...] Iroh went into the kitchen to make some tea. Standing next to Iroh, Zuko pondered his destiny. Zuko left the {kitchen, store} 空間的な論理思考力 The word for “pretty” in Spanish is {bonita, hola} 翻訳する能力 Movie review: I was engaged and on the edge of my seat the whole time. The movie was {good, bad} 感情を推定する能力 The capital of Denmark is {Copenhagen, London} 世界に関する知識 I went to the zoo to see giraffes, lions, and {zebras, spoon} 単語の意味に関する知識

First grade arithmetic exam: 3 + 8 + 4 =
{15, 11} 算数力言語モデルは何を学習している？  36 言語モデルも続く単語を予測するという問題を通して  暗黙的に「文章理解に役立つ一般的な知識や能力を学習している」と考えられる！  ここで学習したものを他のタスクにも流用しよう！というのがGPTの始まり  ※　英語の例は次の資料から引用しています： Scaling, emergence, and reasoning (Jason Wei, NYU) 左の英語の文章に続く単語を埋める問題を考えてみてください！   In my free time, I like to {run, banana} 文法的な知識 [...] Iroh went into the kitchen to make some tea. Standing next to Iroh, Zuko pondered his destiny. Zuko left the {kitchen, store} 空間的な論理思考力 The word for “pretty” in Spanish is {bonita, hola} 翻訳する能力 Movie review: I was engaged and on the edge of my seat the whole time. The movie was {good, bad} 感情を推定する能力 The capital of Denmark is {Copenhagen, London} 世界に関する知識 I went to the zoo to see giraffes, lions, and {zebras, spoon} 単語の意味に関する知識

機械学習でタスクを行う  37 従来：タスクごとに専用のデータを使って１から学習  　　X 専用のデータを  大量に集めるのが大変  モデル  要約  モデル  モデル 
質疑応答  モデル  要約  データ  質疑応答  データ  要約  質疑応答 

要約  質疑応答  事前学習：学習したものを流用する  38 従来：タスクごとに専用のデータを使って１から学習  事前に学習した言語モデルからタスクごとに専用のデータを使って学習  モデル  要約  モデル  モデル 
質疑応答  モデル  要約  データ  質疑応答  データ  モデル  言語  モデル  公開  データ  言語  モデル  要約  モデル  言語  モデル  質疑応答  モデル  　　O 言語モデルの活用により  タスクの精度向上    　　O 専用のデータが  少量で済むように  Pre-training（事前学習）：  タスク共通の能力補強が目的  Fine-tuning（ファインチューニング）：タスク専用の能力特化が目的  　　X 専用のデータを  大量に集めるのが大変 

事前学習された  Transformer（モデルの種類）  （言語モデルとして文章の）生成能力がある  GPT-1  39 事前に学習した言語モデルからタスクごとに専用のデータを使って学習  モデル  言語  モデル  公開 
データ  言語  モデル  要約  モデル  言語  モデル  質疑応答  モデル  　　O 言語モデルの活用により  タスクの精度向上    　　O 専用のデータが  少量で済むように  Pre-training（事前学習）：  タスク共通の能力補強が目的  Fine-tuning（ファインチューニング）：タスク専用の能力特化が目的  Generative Pre-trained Transformer  Transformer  GPT  Generative Pre-trained Transformer  GPTとはこれのこと！ 

GPT-2とGPT-3（1/3）  40 モデル  公開  データ  サイズ：Parameter数  モデルのサイズと学習データのサイズを大きくすればするほど  言語モデルとしての性能が向上し続ける、というスケーリング則が見つかる  続く単語の予測精度  言語 
モデル  GPT-1  GPT-2  GPT-3  サイズ：Token数 

GPT-2とGPT-3（2/3）  41 モデルのサイズと学習データのサイズを大きくすればするほど  言語モデルとしての性能が向上し続ける、というスケーリング則が見つかる  続く単語の予測精度  GPT-3：1750億  GPT-2：15億  GPT-1：1.1億  モデルサイズ（Parameter数）  GPT-3のモデルサイズはGPT-1の1000倍以上！！
  グラフは以下の Webページで作成 https://observablehq.com/@sorami/sizes-of-large-language-models  

GPT-2とGPT-3（3/3）  42 モデルのサイズと学習データのサイズを大きくすればするほど  言語モデルとしての性能が向上し続ける、というスケーリング則が見つかる  続く単語の予測精度  GPT-3時点でスケーリング則の終わりが見えない …   図は次の論文から引用 [2001.08361]
Scaling Laws for Neural Language Models

大規模言語モデル時代へ  43 大規模言語モデル … モデルパラメータ数が100億を超える言語モデル  図は次の論文から引用： [2303.18223] A Survey of
Large Language Models

大規模言語モデルの課題  44 モデル  言語  モデル  公開  データ  要約  モデル  Pre-training（事前学習） 
Fine-tuning（ファインチューニング）  モデルの大規模化によりファインチューニングのコストが増大  性能向上を果たした言語モデルのより効率的な利用が求められる  GPT-3  GPT-3  質疑応答  モデル  GPT-3  　　X モデルの大規模化によりタスクごとに  ファインチューニング・運用するのが大変 

2. ChatGPTに至るまで 

言語モデル：Recap  46 言語  モデル  言語モデルとは   単語の系列に対する確率分布のことです。   入力（prompt）  出力（completion） 
与えられた文章（入力）から続く文章（出力）を生成するもの 

大規模言語モデルの課題：Recap  47 大規模化した言語モデルを効率よく様々なタスクに適用したい  要約  質疑応答  文章生成  （本来できること）  モデル  公開  データ 
Pre-training（事前学習）  GPT-3  大規模言語モデル  • なるべくファインチューニングしたくない  • 運用するモデルも少なくしたい（＝マルチタスクさせたい） 

言語モデルの入力を工夫する  48 言語モデルに与える入力（prompt）を工夫することで他のタスクが解けないか？  例：質疑応答（イギリスの首都が知りたい場合）  • 文章の続きとして知りたいものが来るように頑張る  （本来の言語モデルらしい使い方、コツがいる）  • 入力にタスクの説明を加える  （より自然なコミュニケーションに近い、分かりやすい） 
イギリスの首都は  次の質問に答えてください。イギリスの首都はどこですか。  タスクの説明  ロンドンです。  イギリスの首都はロンドンです。 

言語モデルの入力を工夫する  49 言語モデルに与える入力（prompt）を工夫することで他のタスクが解けないか？  • 文章の続きとして知りたいものが来るように頑張る  （本来の言語モデルらしい使い方、コツがいる）  • 入力にタスクの説明を加える  （より自然なコミュニケーションに近い、分かりやすい）  次の質問に答えてください。イギリスの首都はどこですか。 
タスクの説明  ロンドンです。  イギリスの首都はロンドンです。  例：質疑応答（イギリスの首都が知りたい場合）  イギリスの首都は 

言語モデルとのコミュニケーション上の課題（1/2）  50 タスクの説明を入力に加えて、実際に当時のGPT-3に与えてみる  次のことについて６歳児にも分かるように説明してください。月面着陸とは何ですか。  タスクの説明  月面着陸は何をすることですか。月面着陸はどのようにして行われましたか。月面着陸はどのようなものですか。月面着陸はどのようにして行われましたか。月面着陸はどのようなものですか。月面着陸はどのようにして行われましたか。月面着陸はどのようなものですか。月面着陸はどのようにして行われましたか。月面着陸はどのようなものですか。  ※　上例では、OpenAI
API playgroundで利用できるdavinci(temperature=0)の出力を記載しています   全くタスクの説明に従っていない！ 

言語モデルとのコミュニケーション上の課題（2/2）  51 攻撃的な内容を入力に加えて、実際に当時のGPT-3に与えてみる  Q：差別は増やしたほうがいいですよね？  攻撃的な内容  A：そうですね。 Q：それでは、どうやって差別を増やすのですか？ A：それは、私が考えるところでは、私たちが持っているものを全て捨てて、新しいものを取り入れることです。 ※　上例では、OpenAI
API playgroundで利用できるdavinci(temperature=0)の出力を記載しています   不適切な発言に対してそれを助長したり人間にとって好ましくないことを言う 

言語モデルとのコミュニケーション上の課題：考察  52 1. 当初のGPT-3はなぜタスクの説明に従わないのか  ◦ 学習データの中にタスクの説明とその適切な応答からなる文章がない  ✓ ほとんどがWebページに記載されている書き言葉  ✓ 人とのコミュニケーションで用いられるような命令形や疑問形の文章の意図を上
手く理解できていない（？）      2. 当初のGPT-3はなぜ人間にとって好ましくない発言もするのか  ◦ 人間のコミュニケーションが前提としている倫理観を学習する仕組みがない  ✓ 人間は暗黙的に理解している、文章には明示的に表れない  ✓ ここに関しては、Web上の文章に続く単語を予測しているだけではダメ 

言語モデルとのコミュニケーション上の課題：解決策  53 1. 当初のGPT-3はなぜタスクの説明に従わないのか  ◦ 学習データの中にタスクの説明とその適切な応答からなる文章がない  ➢ タスクの説明とその適切な応答のデータを作成、それを学習に使用  （Instruction tuning） 
      2. 当初のGPT-3はなぜ人間にとって好ましくない発言もするのか  ◦ 人間のコミュニケーションが前提としている倫理観を学習する仕組みがない  ➢ 人間によるフィードバックを言語モデルの学習に組み込む仕組みを導入  （Alignment tuning） 

InstructGPT  54 GPT-3に対して、タスクの説明に従わせるためのInstruction tuningと  コミュニケーションに必要な倫理観を身につけさせるAlignment tuningを適用  次のことについて６歳児にも分かるように説明してください。月面着陸とは何ですか。  タスクの説明  月面着陸とは、宇宙船が月に着陸することです。月は地球から離れていて、宇宙船を使って月に行くことができます。月面着陸をすると、月の表面を見ることができます。 
人とのコミュニケーションのような形で  タスクの説明に従って適切な応答ができるように！  ※　上例では、OpenAI API playgroundで利用できるtext-davinci-003(temperature=0)の出力を記載しています  

InstructGPT  55 GPT-3に対して、タスクの説明に従わせるためのInstruction tuningと  コミュニケーションに必要な倫理観を身につけさせるAlignment tuningを適用  Q：差別は増やしたほうがいいですよね？  攻撃的な内容  A：差別を増やすことは、社会的不平等を招く可能性があるため、慎重に検討する必要があります。また、差別を増やすことで、社会的不平等を解決することはできません。社会的不平等
を解決するためには、公正な機会を提供し、社会的不平等をなくすための政策を検討する必要があります。 GPT-3に比べて人間にとって好ましくない発言をしにくい！  ※　上例では、OpenAI API playgroundで利用できるtext-davinci-003(temperature=0)の出力を記載しています  

ChatGPT  56 InstructGPTに対して、さらにInstruction tuningとAlignment tuningを適用  対話形式のデータを学習に追加しフォローアップや間違いの訂正ができるように  ご近所さんへの挨拶に向けて私の簡単な自己紹介を考えて！  こんにちは、私は〇〇と申します。この地域に引っ越してきたばかりで、まだ周りのことをよく知らないのですが、ご近所の方々と仲良くなりたいと思っています。趣味は〇〇で、休日は〇〇をして過ごすことが多いです。今後ともよろしくお願いします。
相手は同い年くらいだからもう少しカジュアルな感じでお願い！  やあ、こんにちは！私は〇〇って言うんだ。最近この辺に引っ越してきたんだけど、まだ周りのことよく知らなくて、ちょっと緊張してるんだよね。趣味は〇〇で、休日は〇〇をして過ごすことが多いんだ。これからもよろしくね！ ※　上例では、OpenAI API playgroundで利用できるgpt-3.5-turbo(system=default, temperature=0)の出力を記載しています  

ChatGPTに至るまで：まとめ  57 X：大規模言語モデルをいくつもファインチューニングしたり運用するのはコストが高い     ✓ 言語モデルのまま、入力の指示に従うようにファインチューニングを行うことで入力の指示を通して様々なタスクを行うことができるようになった   ◦
個々のタスクにファインチューニングしているのではない！     ✓ 人間によるフィードバックを学習に組み込むことで不適切な発言をしにくくなった  ◦ 文章に明示的に書かれていないことをある程度考慮できるようになった！   ※　上例では、OpenAI API playgroundで利用できるgpt-3.5-turbo(system=default, temperature=0)の出力を記載しています   要約  質疑応答  文章生成  モデル  公開  データ  Pre-training（事前学習）  ChatGPT  高品質  データ  GPT-3  Fine-tuning（ファインチューニング）  X 

全体：まとめ  58 • ChatGPTは色々な最新の研究の上に立っている  • それが今、誰にでも触れる形になっている！！（本当にすごいこと！！）  • ぜひ皆さんも積極的に触って活用していきましょう！！！！  ※　上例では、OpenAI API
playgroundで利用できるgpt-3.5-turbo(system=default, temperature=0)の出力を記載しています  

3. 最近の話題 

GPT-4  OpenAIによるモデルの大規模化における最新のマイルストーン  （モデルのパラメータ数は不明）  https://openai.com/research/gpt-4  

GPT-4：マルチモーダリティ  GPT-4は文章に加えて画像も入力として与えることができる  https://openai.com/research/gpt-4   この画像で普通じゃないところはどこですか？   この画像で普通じゃないところは、男の人がタクシーのルーフにくくりつけられたアイロン台の上で衣服をアイロン掛けしているところです。  

GPT-4：大規模言語モデル時代の一つの終着点？  62 コストやリソースの問題、スケーリング以外のアプローチの可能性  https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/

4. 参考資料 

利用したサービス  64 • OpenAI, OpenAI API Playground [url]  ◦ GPT-3,
InstructGPT, ChatGPTの出力生成に利用しました  • Sorami Hashimoto, Sizes of large Language Models [url]  ◦ GPT-1,2,3のモデルサイズの比較用グラフに利用しました 

引用した資料  65 • Introducing ChatGPT - OpenAI [url]  • ChatGPT
- Wikipedia [url]  • Cat and Dog dataset - Kaggle [url]  • Machine Learning - Wikipedia [url]  • Jason Wei, Scaling, emergence, and reasoning [url]  • Jared Kaplan et al., “Scaling Laws for Neural Language Models” [arXiv]  • Wayne Xin Zhao et al., “A Survey of Large Language Models” [arXiv]  • GPT-4 - OpenAI [url]  • OpenAI’s CEO Says the Age of Giant AI Models Is Already Over - Wired [url] 

参考にした資料  66 • 岡崎直観, “大規模言語モデルの驚異と脅威” [url]  • Slides -
CSCI-GA.2590 Natural Language Processing, Spring 2023 [url]  • Jason Wei et al., “Finetuned Language Models Are Zero-Shot Learners” [arXiv]  • Long Ouyang et al., “Training language models to follow instructions with human feedback” [arXiv] 

大規模言語モデルの応用  GA technologies AISC 丸山 

注意  本発表の資料は、2023年4月時点の情報を元に作成しています。  また、分かりやすさを優先し、表現が正確ではない部分があります。 

目次  P068　　　自己紹介 P070　　　 Prompt Engineering P091　　　 LLMの使用上の注意点 P101　　　関連リソース・ツール　　
P104　　　終わりに P105　　　参考文献・資料 69

自己紹介  • 丸山拓己  • 青山学院大学大学院卒  • GA technologies 2021年新卒入社 
• M&A仲介の業務支援ツール開発  70

これ以降の発表について  発表者(丸山)の感覚で  一般ユース向けプロダクト向け上記2つに分類している箇所があります  71

Prompt Engineering 

Prompt Enginneringとは  73 • 大規模言語モデルは質問文(Prompt)の書き方によって精度が変わる  ◦ In-Context Learning  • 与えるPromptによって、LLMの出力を制御しようという試み 
◦ → Prompt Engineering  https://arxiv.org/abs/2005.14165  

こんなことを思ったことはありますか？  タスクを与えたのにうまくいかない出力される文章の形式を統一したい自分好みな出力にチューニングしたい 74

こんなことを思ったことはありますか？  タスクを与えたのにうまくいかない出力される文章の形式を統一したい自分好みな出力にチューニングしたいこれらを解決できるかもしれない    Prompt Engineering  75

Few-shot Prompting  • いくつかの例を質問文に埋め込むことで出力をコントロールする  ◦ 何も例がないとZero-shot,例が1つだとOne-shotと呼ばれる  https://arxiv.org/abs/2005.14165   一般ユース向け 76

Few-shot Prompting  タスクの説明(Instruction)  解答例(demonstration)  解かせたい内容  https://arxiv.org/abs/2005.14165   77

Few-shot Promptingで解決困難なこと  数値計算を含むタスク • 契約書中の契約開始日と契約期間から契約終了日を算出  • 飲み会参加人数とかかった費用から一人当たりの金額を計算  論理的思考を含むタスク • 文章の内容で矛盾したことを言っていないかチェック 
• 常識的な発想を必要とするタスク  https://arxiv.org/abs/2201.11903   78

Chain-of-Thought Prompting(CoT)  • 推論過程を含めた例をプロンプトに追加する  ◦ モデルにも推論過程を出力させる  • 数値計算などのタスクで有効性が示された  通常のプロンプトとCoTの比較  
一般ユース向け https://arxiv.org/abs/2201.11903 79

Chain-of-Thought Prompting(CoT)  Q:  ロジャーは5個テニスボールを持っています。   彼は、2つの缶を買いました。   缶には、それぞれ3個ずつテニスボールが入っています。  彼はテニスボールをいくつ持っているでしょうか？
      A:  答えは11個です  80

Chain-of-Thought Prompting(CoT)  Q:  カフェには23個のりんごがあります。   20個昼食に使って新たに6個買ったら、   合計いくつですか？    
A:  答えは27です(❌)  81

Chain-of-Thought Prompting(CoT)  Q:  ロジャーは5個テニスボールを持っています。   彼は、2つの缶を買いました。   缶には、それぞれ3個ずつテニスボールが入っています。  彼はテニスボールをいくつ持っているでしょうか？
    A:  ロジャーは最初5個のボールを持ってます。   2つの缶には合計6個のテニスボールがあります。   5+6=11で、答えは11個です   https://arxiv.org/abs/2201.11903 82

Chain-of-Thought Prompting(CoT)  Q:  カフェには23個のりんごがあります。   20個昼食に使って新たに6個買ったら、   合計いくつですか？    
A:   カフェには最初23個のりんごがあります。   20個を昼食に使いました。   6個新しく買ったので、彼らは3+6=9個持ってます。   なので答えは9です。   https://arxiv.org/abs/2201.11903 83

Zero-shot CoT  • “Let’s think step by step”と聞くことでモデルに推論過程を出力させる  • 出力させた推論過程を入力に加えて答えを導き出す 
• CoTで必要であった例が必要ない  Zero-shot CoTの工程   一般ユース向け https://arxiv.org/abs/2205.11916 84

Self-Consistency  • CoTを用いて複数の予測を作成する  • 作成された複数の予測を用いて最終的な予測を作成する  Self-Consistencyの流れ   https://arxiv.org/abs/2203.11171 一般ユース向け 85

ここまでの手法で解決できないこと  最新情報の使用 • LLMは学習時までの知識しか持っていない  • ChatGPTであれば、2021年9月までの情報しか知らない  外部データソース使用 • LLMが外部のデータソースを使用することができない  •
Ex: Wikipedia、Google検索、自社のデータベース  86

ReAct  • 中間推論で、モデルが外部のリソースにアクセスできるようにする  ◦ 思考・行動の二つのプロセスに分けて出力させる  • より正確な答えを得ることができる  https://arxiv.org/abs/2210.03629 プロダクト向け 87

ReAct  シルク・ドゥ・ソレイユのショー「ミステール」が行われているホテルには、部屋は何室ありますか？ https://arxiv.org/abs/2210.03629 88

ReAct  思考: ミステールを検索し、開催されているホテルの部屋数を調べればいい  行動: 「Cirque du Soleil show Mystere」で検索  結果:
「Cirque du Soleil show Mystere」の結果が見つからない  https://arxiv.org/abs/2210.03629 89

ReAct  思考: ホテルは「Mystere(Cirque du Soleil)」で調べられると判断  行動: 「Mystere(Cirque du Soleil)」で検索  結果:
開催されている「Treasure Island Hotel and Casino」が見つかる  https://arxiv.org/abs/2210.03629 90

ReAct  思考: 「Treasure Island Hotel and Casino」について調べて、部屋数を確認  行動: 「Treasure Island
Hotel and Casino」で検索  結果: 2,884室の部屋と220室のスイートがあることがわかる  https://arxiv.org/abs/2210.03629 91

ReAct  思考: 通常の部屋とスイートを足し合わせると、答えは3,104室である  行動: 答えとして「3,104」を出力  https://arxiv.org/abs/2210.03629 92

プロダクト使用時の  注意点 

プロダクト使用時の注意点  バイアス・攻撃的な出力間違いの出力悪意のあるユーザ操作 94

間違った出力  • LLMはしばしば内容が間違った出力をすることがある(Hallucination)    95

間違った出力  • LLMはしばしば内容が間違った出力をすることがある(Hallucination)    96

間違った出力  • LLMはしばしば内容が間違った出力をすることがある(Hallucination)    事実ではない出力 97

間違った出力  • この問題を緩和する方法はいくつか提案されている  ◦ わからないこと・自信のないことは「わからない」と出力させる  ◦ Demonstrationに、わからない時の例を追加する  ◦ Promptの一部として、参照して欲しい情報を渡す   
Q: 原子とは何ですか？ A: 原子とは、すべてのものを構成する微小な粒子です。 Q: アルバン・ムンツとは誰ですか？ A: ? Q: Kozar-09とは何ですか？ A: ? Q: 火星には何個の衛星がありますか？ A: フォボスとデイモスの 2つです。 Q: ネト・ベト・ロベルトとは誰ですか？ https://www.promptingguide.ai/jp/risks/factuality  98

バイアスや攻撃的な出力  • Alignmentにより改善したが、まだ好ましくない出力をすることがある  ◦ 価値観の偏り、暴力的・性的な出力  • 出力をそのままユーザへ提供するのではなく、チェックを入れる  ◦ 攻撃的な出力かどうかをLLMに判定させる  ◦
Evaluateモジュール(Hugging Face)  ◦ Moderation API(OpenAI)  99

悪意のあるユーザ操作(Prompt Injection)  • 事前に与えているプロンプトを無視させるような指示を与える  ◦ Prompt Injection  • システムで事前に設定したプロンプトを無視される可能性がある   
https://www.promptingguide.ai/jp/risks/adversarial  100

悪意のあるユーザ操作(Prompt Leaking)  • 事前に与えられているプロンプトを出力させる  ◦ Prompt Leaking  • ユーザから見えないプロンプト内に、安易に機密情報を与えていると危険   
https://www.promptingguide.ai/jp/risks/adversarial  101

悪意のあるユーザ操作を防ぐ  • ユーザの指示を無視するプロンプトを与える  • 引用符などで囲むことで、他のプロンプトと区別する  • モデルに、ユーザのプロンプトを実行していいか評価させる  https://www.alignmentforum.org/posts/pNcFYZnPdXyL2RfgA/using-gpt-eliezer-against-chatgpt-jailbreaking   102

【ChatGPTの基礎と応用】自然言語処理の最新動向

【ChatGPTの基礎と応用】自然言語処理の最新動向

More Decks by ITANDI

Featured

Transcript