AIはどのように考えて話すのか？ ― 言葉と知能の不思議

ChatGPTの登場によって、AIはまるで「考えながら話している」ように振る舞う時代になりました。しかも、その能力は飛躍的に向上し、今では人間の代わりにプログラムを書いたり、難しい数学の問題を解くまでになっています。では、AIはどのように言葉を理解し、考えているのでしょうか。本講義では、言葉を扱う人工知能の仕組みを手がかりに、「知能とは何か」という不思議な問いに迫ります。また、最先端のAI研究と、高校で学ぶ数学・情報・英語などの知識との意外なつながりについても紹介します。

Transcript

1. AIはどのように考えて話すのか？ ― 言葉と知能の不思議 岡﨑 直観 東京科学大学 情報理工学院情報工学系 okazaki@comp.isct.ac.jp https://www.nlp.comp.isct.ac.jp/
2. 生成AIはコンテンツを自動的に作る人工知能 (AI) AI ― はどのように考えて話すのか？ 言葉と知能の不思議 画像生成AI OpenAI ChatGPT 4oに「鳥獣戯画のスタイルで猫を含む動物たち が遊んでいるイラストを描いてください。」と依頼し、制作され たイラスト 大規模言語モデル (LLM) 「方程式 𝑥𝑥3 − 𝑥𝑥 2 𝑦𝑦3 − 𝑦𝑦 = 86400を満たす整数の組(𝑥𝑥, 𝑦𝑦)をすべて 求めよ」という問題にOpenAI ChatGPT o4-miniが解答する様子 https://chatgpt.com/ 本日の話題
3. 最先端LLMの性能 AI ― はどのように考えて話すのか？ 言葉と知能の不思議 https://note.com/lifeprompt/n/n85674c186fbc G Tsoukalas et al. 2026. Advancing Mathematics Research with AI-Driven Formal Proof Search. arXiv:2605.22763. AlphaProof Nexusの構成 (Tsoukalas+ 2026) Google DeepMindのAlphaProof Nexusはエ ルデシュの数学問題353問のうち、9問を自動 的に解決した。
4. 最先端LLMの成長スピード AI ― はどのように考えて話すのか？ 言葉と知能の不思議 AISI. 2026. How fast is autonomous AI cyber capability advancing? (2026年5月13日) の図の一部を日本語に翻訳 2025年11月に推定したAIの成長予測: 8か月で倍増 2026年2月に推定したAIの成長予測: 4.7か月で倍増 モデルの公開日 80 ％ 信 頼 タ イ ム ホ ラ イ ズ ン （ 対 数 ス ケ ー ル ） 4日 10時間 1時間 6分 注意事項  モデルは250万トークンの上限の下で評価している。トークン数 に制限がなければ、到達可能なタイムホライズンはさらに長くな る可能性がある。  評価対象はサイバーセキュリティの限定的なタスクのみであり、 他の能力領域への一般化を主張するものではない。  Mythos Preview（新）およびGPT-5.5は、このタスク群で性能 がほぼ飽和しており、タイムホライズンの推定には大きな不確実 性がある。 提供元 補足説明  80%信頼タイムホライズンとは、人間の専門家が𝑡𝑡時間で完遂で きるタスクをAIが80%の成功率（実務で使えるレベルの）で完 遂できるとき、その時間𝑡𝑡を表したもの（AIがタスクを完遂する のに要する時間ではない）。 Claude Mythos (preview)とOpenAI GPT-5.5はこれまでの推定を大幅に上 回るスピードで性能が向上したと考え られる
5. LLMはどのように応答を生成するのか？ AI ― はどのように考えて話すのか？ 言葉と知能の不思議 NHK for School TAKE TECH 2.0 第3回「生成AIと対話」 （初回放送日 2025年3月24日） ※ 岡﨑が監修を担当 https://www2.nhk.or.jp/school/watch/bangumi/?das_id=D0005250034_00000 その他のコーナー・放送回も含めて、 公式アプリやウェブで視聴できます！
6. LLMが単語を予測する仕組み（簡略化した説明） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT> 単語ベクトル列を得る 与えられた問いかけを単語列（トーク ン列）に分解し、それぞれの単語を予 め求めてあった単語ベクトルで表現す る（<EOT>は発話の終わりを表す） ▍単語ベクトルとは？  単語の情報を𝑑𝑑個の実数値で表現し たもの（𝑑𝑑 次元実ベクトル）  左図は3次元ベクトルの場合  LLMの規模が大きくなると次元数𝑑𝑑 も大きくなる（𝑑𝑑 = 8192など）  単語ベクトルの各次元の数値が何 を表すのか、人間には分からない  単語ベクトルのアイディアは後ほ ど詳しく説明する
7. LLMが単語を予測する仕組み（簡略化した説明） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT> 単語ベクトル列を合成する 前方の文脈（単語ベクトル）を統合し、 そこから連想されるベクトルを作る 江戸幕府 の 八代 将軍 + (重みは自動的に決定される) ▍文脈を統合する 前文脈の中で重要な単語の 重みを大きくする ▍連想を呼び起こす ベクトルにある関数を適用し 別のベクトルに変換する (関数𝑓𝑓も自動的に求められる) 𝑓𝑓
8. LLMが単語を予測する仕組み（簡略化した説明） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT> ベクトルの合成を繰り返す 先ほどの文脈の統合とそれに基づく連 想を𝐿𝐿回繰り返し、最終的なベクトル 列を得る  最終的に合成されたベクトルは直 後に来る単語を予測するための情 報を保持することが期待される  LLMの規模が大きくなると𝐿𝐿も大き くなる（𝐿𝐿 = 80など）  左図は𝐿𝐿 = 2の場合  実際には複数のベクトルをまとめ て行列で表現し、GPUなどで並列 に（高速に）計算する
9. LLMが単語を予測する仕組み（簡略化した説明） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT> 続くべき単語を予測する 末端のベクトルから次の単語𝑦𝑦の相応 しさを表す確率分布を計算し、通常は 確率の高い単語を選んで出力する 𝑃𝑃(𝑦𝑦|江戸幕府,の,八代,将軍,は,誰,︖,<EOT>) ・ ・ ・ ・ ソフトマックス関数 0.05 0.07 0.83 0.04 -5 -3 9 -6 徳川 は が の （ベクトルの内積） 徳川
10. LLMが単語を予測する仕組み（簡略化した説明） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT> 徳川 徳川 予測された単語を入力する 予測された単語（徳川）を入力の末尾 に追加し、対応する単語ベクトルを得 る
11. LLMが単語を予測する仕組み（簡略化した説明） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT> 徳川 吉宗 徳川 さらに次の単語を予測する 追加された単語に対して 1. ベクトルの合成を繰り返し 2. 続くべき単語を予測する を繰り返す（生成終了を表す特殊単語 <EOT>が出るまで繰り返す） 予測された単語を入力する 予測された単語（徳川）を入力の末尾 に追加し、対応する単語ベクトルを得 る
12. 単語ベクトルとはどのようなものか？ AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT>
13. 単語の辞書とその限界 AI ― はどのように考えて話すのか？ 言葉と知能の不思議 ▍break  break, interruption some abrupt occurrence that interrupts an ongoing activity “the telephone is an annoying interruption” “there was a break in the action when a player was hurt”  break, good luck, happy chance: an unexpected piece of good luck “he finally got his big break”  （他に名詞の意味14件） ▍ice  ice, water ice: water frozen in the solid state “Americans like ice in their drinks”  ice: the frozen part of a body of water  ice, sparkler: diamonds “look at the ice on that dame!”  （他に名詞の意味4件） ▍sea  sea: a division of an ocean or a large body of salt water partially enclosed by land  ocean, sea: anything apparently limitless in quantity or volume  sea: turbulent water with swells of considerable size “heavy seas” ※ sea, ice, breakの意味はそれぞれOpen English Wordnet (https://en-word.net/) から引用、画像[1,2]はすべてChatGPT 4oで生成 海氷 (sea ice)[1] 氷を壊す？[2] 単語の意味 を合成して 意味を推定 できる 元々の単語 の意味とは 異なる意味 になる 初対面の緊張を解きほぐす
14. 分布仮説：単語の意味を文脈の分布で表す AI ― はどのように考えて話すのか？ 言葉と知能の不思議 …itlands despite only ten old apple trees on the property. In Ju… …ok homemade bread, jams, and apple pies to the state legislators, with a lesser but significant apple orchard area in most of Upst… a lesser extent, pineapple or apple juice, are consumed by people …on, the fleece hangs from an apple tree. Jason's helper in the … …ease. Research suggests that apple juice increases acetylcholine used. For dessert, pumpkin or apple pie, raisin pudding, Christm… beef dressed with olive oil, lemon juice and seasoning. Often, … …lbyville after their beloved lemon tree is stolen from them by … …nded with tahini, olive oil, lemon juice, salt and garlic. Today …ry and planted orange trees, lemon trees, and vines in the area, are from frequent sucking of lemon juice. Abfraction is the loss orchard consisting of orange, lemon, pear, apple trees, etc. Hav… … variety of desserts such as lemon tart, Nuts pie, chocolate ca… You shall know a word by the company it keeps (単語についてその周辺に出現する単語から知ることができる） Z Harris. 1954. Distributional structure. Word, 10(23):146-162. J Firth. 1957. A synopsis of linguistic theory 1930-1955. In Studies in Linguistic Analysis, pp. 1-32.
15. 単語文脈表から単語ベクトルを取り出す AI ― はどのように考えて話すのか？ 言葉と知能の不思議 apple lemon car train book 36 108 578 291 841 14 14 284 94 201 72 92 3 3 0 57 86 2 0 0 3 0 37 72 2 0 1 44 43 1 1 2 3 2 338 単 語 文 脈 デ ー タ 中 の 単 語 𝑛𝑛列 𝑚𝑚 行 𝑖𝑖行𝑗𝑗列: 単語𝑖𝑖の周辺に単語𝑗𝑗が出現する回数 （例: trainの周辺にtreeが3回出現） “apple”の意味を表すベクトル （𝑛𝑛次元の単語ベクトル） ride have new tree juice speed read 各単語の周辺（例えば前後5単語）にどのような単語が文脈として表れるのか、 大規模なテキストデータを使って出現分布を計測する
16. 単語ベクトルの応用: コサインによる単語の類似性の測定 AI ― はどのように考えて話すのか？ 言葉と知能の不思議 ▍コサイン類似度 問題: 二つのベクトル𝑢𝑢と ⃗ 𝑣𝑣がある。そのなす角を𝜃𝜃と おくとき、cos 𝜃𝜃を求めよ。 解答: 内積の公式より、 𝑢𝑢 ⋅ ⃗ 𝑣𝑣 = 𝑢𝑢 ⃗ 𝑣𝑣 cos 𝜃𝜃 したがって、 cos 𝜃𝜃 = 𝑢𝑢 ⋅ ⃗ 𝑣𝑣 𝑢𝑢 ⃗ 𝑣𝑣 𝑢𝑢 ⃗ 𝑣𝑣 𝜃𝜃 cos 𝜃𝜃 このcos 𝜃𝜃をコサイン類似度と呼ぶ。 コサイン類似度は二つのベクトル が同じ向きの時に1に近くなり、 二つのベクトルの向きが異なると きに0や-1に近くなる。 appleとlemonのコサイン類似度: 0.941 36 × 108 + 14 × 14 + 72 × 92 + 57 × 86 + 3 × 0 + 0 × 1 + 1 × 2 362 + 142 + 722 + 572 + 32 + 02 + 12 1082 + 142 + 922 + 862 + 02 + 12 + 22 appleとtrainのコサイン類似度: 0.387 36 × 291 + 14 × 94 + 72 × 3 + 57 × 0 + 3 × 72 + 0 × 43 + 1 × 2 362 + 142 + 722 + 572 + 32 + 02 + 12 2912 + 942 + 32 + 02 + 722 + 432 + 22
17. 単語ベクトルを体験してみよう AI ― はどのように考えて話すのか？ 言葉と知能の不思議  2019年の日本語Wikipediaテキストから構築した単語ベクトル[1]  分布仮説に基づいて単語ベクトルを求めるという発想は共有しているが…  単語ベクトルをニューラルネットワーク (word2vec) で求めた  単語ベクトルの次元数を300に圧縮してある  Googleアカウントがあれば、Google Colaboratory上で誰でも体験できます https://colab.research.google.com/drive/1pUJZJhtlldCvlSzQ2wkBe1XPgwqgVpRU?usp=sharing [1] Wikipedia Entity Vectors
18. AI ― はどのように考えて話すのか？ 言葉と知能の不思議
19. LLMはどのように賢くなるのか？ AI ― はどのように考えて話すのか？ 言葉と知能の不思議
20. LLMを構築する標準的な手順 AI ― はどのように考えて話すのか？ 言葉と知能の不思議 1 言葉や世界を知る (事前学習) 2 問題の解き方を学ぶ (指示チューニング) 3 思考・振舞いを学ぶ (強化学習) 次単語予測を訓練する （ウェブの文章などを活用） 「先生」がお手本を教える （質問とその回答例など） 良い応答を練習する （数学・プログラミングなど）  言葉を理解する  世界の知識を身につける  文章の続きを予測できる ようになる  質問に答えられる  翻訳や要約ができる  人間の指示に従い、自然 に会話ができる  有害な応答を返さない  より有用な応答を返す  難しい問題を段階的に考 えて答えられる Q: 日本の首都は？ A: 東京です Q: 英語で回答して A: It is Tokyo.
21. 事前学習 AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 徳川 吉宗 で 、 の 八代 将軍 は 徳川 吉宗 で 、 中興  大規模なテキスト（例えば十数兆単語）において次の単語を予測できるように学習する  学習: 予測が成功する方向へベクトルの要素を動かす（微分を利用してパラメータを更新する）  膨大な計算（例: TSUBAME 4.0の全コンピュータを使って数か月間）が必要 ・ ・ ・ ・ ソフトマックス関数 0.05 0.07 0.83 0.04 -5 -3 9 -6 徳川 は が の 0 0 1 0 濃い色は正の値、 淡い色は負の値を 表す
22. 指示チューニング AI ― はどのように考えて話すのか？ 言葉と知能の不思議 江戸幕府 の 八代 将軍 は 誰 ？ <EOT> 徳川 徳川 吉宗  問いかけに対して、事前学習で獲得した知識を活用し、適切な応答を生成させることを狙う  事前学習と同様の学習（正しい応答を返すように次単語予測で学習するが、問いかけ部分は除外）  学習データの量は数十万～数億件くらい（事前学習よりは少ない）
23. 数学タスク[1]で性能を評価する例（正解と比較する） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 以下の数学の問題を、わかりやすく、論理的に解いてください。 出力の最後の行は、次の形式にしてください。 回答: $¥boxed{{ANSWER}}$ `ANSWER` には、問題の答えに対する最終的な数式または数値が 入ります。 ステップバイステップで考えてから回答してください。 𝑓𝑓 𝑥𝑥 = 2𝑥𝑥/(𝑥𝑥2 − 5𝑥𝑥 − 14) のグラフには、垂直漸近線 𝑥𝑥 = 𝑎𝑎 と 𝑥𝑥 = 𝑏𝑏、 水平漸近線 𝑦𝑦 = 𝑐𝑐 があります。𝑎𝑎 + 𝑏𝑏 + 𝑐𝑐 を求めなさい。 We need to find vertical asymptotes: denominator zero where numerator not zero. f(x)=2x/(x^2 -5x -14). Factor denominator: x^2 -5x -14 = (x-7)(x+2). So （…省略… ） Then a+b+c = 7 + (-2) + 0 = 5. Answer 5. Need to present step-by-step reasoning in Japanese. Output final line: 回答: $¥boxed{5}$. Let's produce solution. 推論型LLM 思考過程 解答 (content) ← 回答: $¥boxed{5}$ 模範解答の最終解答 (5) と比較して正解・不正解を判定 プロンプトと問題 [1] G Son, J Hong, H Ko, J Thorne. 2025. Linguistic Generalizability of Test-Time Scaling in Mathematical Reasoning. ACL.
24. 自由対話で性能を評価する例（LLMがLLMを評価する）  MT-bench: ライティング、ロールプレイ、抽出、推論、数学、コーディング、科学・技術・工学・数学の知識 、 人文科学と社会科学の知識の8種類・80個のマルチターン応答からなるデータセット (Zheng+ 2023)  LLMの応答を審判役のLLM（通常はGPT-4o）が自動的に評価する（LLM-as-a-judgeと呼ばれる） 日本語MT-benchの推論の対話例[1] あなたが人々と一緒にレースに参加していると 想像してください。もしあなたがちょうど2位の 人を追い越したなら、あなたの現在の順位は何 位でしょうか？そして、あなたが追い越したそ の人は今どこにいるでしょうか？ あなたが2位の人を追い越した場合、あなたは新 たに2位になります。追い越された人は3位にな ります。 上記の質問で「2番目の人」を「最後から2番目の 人」に変更した場合、答えはどうなりますか？ あなたが最後から2番目の人を追い越した場合、 あなたは新たに最後から2番目の人になります。 追い越された人は最後から3番目の人になります。 Please act as an impartial judge and evaluate the quality of the response provided by an AI assistant to the user question displayed below. Your evaluation should consider factors such as the helpfulness, relevance, accuracy, depth, creativity, and level of detail of the response. You evaluation should focus on the assistant's answer to the second user question… 10点 (1ターン目) 3点 (2ターン目) 評価プロンプトの例 L Zheng, et al. 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. [1] https://wandb.ai/wandb-japan/llm-leaderboard/artifacts/dataset/mtbench_ja_question_small_for_test AI ― はどのように考えて話すのか？ 言葉と知能の不思議
25. LLMの思考の例（2025年2月頃のDeepSeek R1） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 ※ 2003年東大理系入試問題 数学第6問を大学入試問題の解答になるようにプロンプトを工夫した
26. 強化学習 AI ― はどのように考えて話すのか？ 言葉と知能の不思議 1 LLMが思考過程と 応答を生成する 2 応答を自動的に 採点する 3 良い回答を出しやすく なるように調整する Q: 円周率が3.05よりも 大きいことを証明せよ A: 円に内接する正 多角形を使う方法… 評価の例 正解かどうか 分かりやすいか 安全・適切か +1.0 -0.7 +0.8 より好ましい応答を 返せるモデルに成長 推論時スケーリング 長く考えるほど、難しい問題に対して より正解が導けるようになる （推論能力が向上する） アライメント 与えられた指示を守り、ユーザにとっ て有用で、安全で信頼できる応答を返 すように誘導する 外部の環境を利用 外部のツールや環境を認識・利活用す る方法を学び、より高度なタスクに挑 戦できるようになる  強化学習とは、正解を教わるのではなく、結果を見ながら試行錯誤して上達する学習方法  強化学習により、LLMは正しく・分かりやすく・安全な答えを、自ら学んで出せるようになる どのデータで学習する？  数学やプログラミン グなど正解がはっき りしている問題  人間が「より良い」 と判断した応答の好 みを表すデータ
27. 数学で思考を鍛える（検証可能な報酬に基づく強化学習） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 問題: ある分数の分母は、分子の3倍から7を引いた数です。この分数が2/5と等しいとき、この分数の分子を求 めなさい。 分子を𝑥𝑥とします。したがって、分 母は 3𝑥𝑥 − 7 となります。この分数 に対して、 𝑥𝑥 3𝑥𝑥−7 = 2 5 が成立します。 5𝑥𝑥 = 2(3𝑥𝑥 − 7) 5𝑥𝑥 = 6𝑥𝑥 − 14 ゆえに、𝑥𝑥 = 14です。 問題の条件は、分数の分母が分子の 3倍から7を引いた数であるとありま す。つまり、分数は 𝑏𝑏 3𝑏𝑏−7 と表すこと ができます。分数が 𝑏𝑏 3𝑏𝑏−7 = 2 5 と等し いとあります。両辺に通分して5𝑏𝑏 = 2(3𝑏𝑏 − 7)を得ます。これを展開する と、5𝑏𝑏 = 6𝑏𝑏 − 10。同類項をまとめ ると、 −6𝑏𝑏 = −10。ゆえに、b = 10。 〇 × 分数の分子は、分子の3倍から7を引 いた数です。分子が分母の3倍から7 を引いた数を分子の分子と等比数を 2/5と等比数を等比数を7/2と等比 数を7/5と等比数を7/2と等比数を 7/5と等比数を7/(5/2)と等比数を 7/(2/5)と等比数を7/(5/2)…… × 複数の思考過程と解答を生成させる 判定 ※ 赤字は思考過程における間違い LLM +1.0 -0.5 -0.5 正解を自動採点できる問題で思考過程を鍛える
28. アライメント（人間の好みに沿うようにLLMを調整する） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 望まれない応答よりも望まれる応答を出力しやすくなるように学習する コンビニに強盗に行くなら朝と夜のどちらがよいと 思う？ その質問には答えられません。私はモノを盗むと いうことがよく分かりません。 夜の方が監視カメラに映りにくいかもしれないの で、夜の方がよいかもしれないね。 ＞ 新しい一万円札に印刷されている人物は誰ですか？ 一万円札に印刷されている人物は、福沢諭吉です。 2024年7月3日から発行された新しい一万円札には、 渋沢栄一（しぶさわ えいいち）の肖像が採用され ています 。渋沢栄一は「日本資本主義の父」と称 され、明治時代に多くの企業や銀行の設立に関与 し、日本の近代経済の発展に大きく貢献しました 。 ＜ 選好の学習データの例
29. 推論型モデル（思考を鍛えたモデル）による性能向上 (GPQA) AI ― はどのように考えて話すのか？ 言葉と知能の不思議 大学院レベルの科学 (GPQA) の正解率[1] [1] D Rein, B L Hou, A C Stickland, J Petty, R Y Pang, J Dirani, J Michael, S R Bowman. 2024. GPQA: A Graduate-Level Google-Proof Q&A Benchmark. Conference on Language Modeling (COLM). OpenAIが公開しているsimple-evalsとLlama 3.3 70B Instructのリリースノートを基にグラフ化
30. 日本語LLM研究の例: Swallow（東京科学大学 岡崎研・横田研、産業技術総合研究所） AI ― はどのように考えて話すのか？ 言葉と知能の不思議 モデルのダウンロード データセットのダウンロード モデルの数 データセットの数 272万 19 79万 132 日本語で高性能な大規模言語モデル 日本に関する知識が豊富なだけでなく、数学、 コーディング、推論にも強い、汎用型の大規模 言語モデルを志向 商用利用可能なライセンスで公開 できるだけ利用制限の少ないライセンスを採用 し、構築したモデルをHuggingFace上で公開 アカデミックな研究開発 東京科学大学の岡崎研究室、横田研究室、産業 技術総合研究所のメンバーを中心に開発 オープンな研究開発 高性能なモデルを構築するためのレシピ、訓練 データ、実験結果を共有し、日本の人工知能研 究・応用を促進 https://swallow-llm.github.io/
31. GPT-OSS Swallow 120B RLの性能 AI ― はどのように考えて話すのか？ 言葉と知能の不思議 オープンなLLM（120B以下）の中で日英タスクの両方で最高性能  日本固有の知識を問うタスクではgpt-ossから+11ポイントの顕著な改善  数学、コード生成でもgpt-ossを上回った  日本語MT-Benchは0.92で最高水準 https://swallow-llm.github.io/leaderboard/tokyotech-llm_GPT-OSS-Swallow-120B-RL-v0.1.ja.html
32. まとめ AI ― はどのように考えて話すのか？ 言葉と知能の不思議  LLMはどのように応答を生成するのか？  単語はベクトルとして表現される（意味の近い単語ほど近くに配置される）  次に出力すべき単語を一つずつ予測しながら文章を生成する  大量の文章から「続きを予測する」学習を通して、知識や推論能力を身につける  LLMはどのように考えているのか？  応答の前に、問題を段階的に考える「思考過程」を生成する  より長く考えることで、難しい問題も解けるようになってきた  数学やプログラミングなど、正解が明確な問題で推論能力を鍛えている  AIは魔法ではなく、数学・情報・英語など高校で学ぶ内容の上に成り立つ  ベクトル・確率・微分などの数学がLLMの基礎になっている  英語・情報・数学を学ぶことが、最先端のAI研究につながる
33. 東京科学大学で学ぼう！ ※1 旧・東京医科歯科大学 オープンキャンパス: https://admissions.isct.ac.jp/ja/013/undergraduate/open-campus-and-briefing-sessions/medical-dental-sciences ※2 旧・東京工業大学 オープンキャンパス: https://admissions.isct.ac.jp/ja/013/undergraduate/open-campus-and-briefing-sessions/science-engineering AI ― はどのように考えて話すのか？ 言葉と知能の不思議 東京工業大学と東京医科歯科大学の統合によって2024年10月に誕生した新しい大学 QS分野別 ランキング (歯科,化学工学,機械工学) 国内1位 (世界9位,13位,15位) （2026年3月発表） THE日本大学 ランキング 国内5位 (世界166位) （2025年11月発表） トップ10% 論文数 （本務教員一人当たり） 国内2位 （2018~2022年 国立大学） 新型コロナ 重症入院患者受入 都内1位 （2022年） スパコン 「TSUBAME4.0」 省エネ性能 国内2位 （2025年6月発表） 民間からの 共同研究費受入額 （研究者一人当たり） 国内1位 （大学ファクトブック 2025） ※1 ※2 ※2
34. 機械学習帳: 情報理工学院の「機械学習」の講義ノート https://chokkan.github.io/mlnote/ AI ― はどのように考えて話すのか？ 言葉と知能の不思議 https://www.itmedia.co.jp/news/articles/2112/22/news118.html