このままAIが発展するだけでAGI達成可能な理由

現状のAI技術の延長線上（最新のスケール則の延長線上）でAGIが実現可能である理由を、できるだけ分かりやすく＆できるだけかみ砕かず説明することを試みた動画です。これに関連して、AI関連研究開発者がAIのスケールとどう付き合っていくべきかについてもお話しています。

現在のAIのスケールした近い将来無駄になるような研究開発、応用開発ではなく、AGI時代につながるAIの発展に貢献する研究開発、AGI登場後も取り組みが生きる応用開発に集中する方が増えることに期待しています！

Scaling Laws for Neural Language Models
Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodeihttps://arxiv.org/abs/2001.08361

The 2025 AI Index ReportStanford HAI
https://hai.stanford.edu/ai-index/2025-ai-index-report

The Race to Efficiency: A New Perspective on AI Scaling Laws
Chien-Ping Luhttps://arxiv.org/abs/2501.02156

@frievea

Frieve
http://www.frieve.com/

Frieve-Aへの質問はこちらへ
https://mond.how/ja/frievea

Transcript

1. スケール則に基づくAGI実現の可能性 | 2025 このままAIが発展するだけで AGIが達成可能な理由 スケール則がもたらす指数的進化の可能性 AIのスケール則に着目し、現在の技術の延長線上でAGI達成が可能である理由について解説 Frieve-A 2025年10月9日
2. スケール則に基づくAGI実現の可能性 | 2025 今回の内容 AGIについての「常識」を再考 ポイント • 「今のAI技術ではまだまだAGI達成に足りない」とする見方は本当に正しいのか？ • 今の技術の延長線上でAGI達成の可能性は高い • 過小評価されてている「スケール則」 • スケールで解決する問題としない問題 スケール則は強力でほとんどの問題を解決する。 勝負はスケール則の使いこなしにかかっている。
3. スケール則に基づくAGI実現の可能性 | 2025 性能的問題のほとんどは“スケールが解決" AIの非情な現実 真に必要なのは「スケールさせ、スケールの恩恵を受けること」 • AI研究開発の9割は、スケール（規模）を増やせば 自然と解決する問題と戦っている • スケールで戦うには膨大なコストが必要。この競争に 乗れる企業は世界でも10社以下 • 将来登場するより高度なAIにより、現在のAI技術の 大半は無用の長物に • スケールのための計算・データ資源のための研究開発 • 限られた計算・データ資源をどう最適配分するか • 強力なAIの活用により追加の技術開発は最小に目の前の 課題を解決する工夫 AI研究の多くはスケールによって解決される ―複雑な技術よりもデータ量・計算量が勝つ場合が多い
4. スケール則に基づくAGI実現の可能性 | 2025 スケール則とは何か スケール則（Scaling Laws）の定義 スケール則の意味 • AIモデルには「スケール則」という経験則がある： L(N) = A・N + B -α L：誤差（ロス） N：モデルサイズやデータ量などの資源 A：定数（切片） α：減衰率（通常 0.05〜0.3） B：床（ベイズ誤差）- 原理的に超えられない性能限界 • 資源を増やせば性能はべき乗で向上 • αが小さいほど、性能向上に必要な資源増加は大きい • ベイズ誤差は原理的に避けられない限界点 資源を増やせば、どこまでもベイズ誤差の限界に近づく Scaling Laws for Neural Language Models Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei https://arxiv.org/abs/2001.08361 （2017～2020年頃）
5. スケール則に基づくAGI実現の可能性 | 2025 最終的な性能に影響する様々な資源 学習時資源 推論時計算（TTC） 学習時に用いる各種リソースの量 • モデルサイズ • 学習データ • 計算量 • これらを増やすほど誤差が単調に減少 推論時にかける計算リソースの量 • 長い文脈窓 • 反復・探索 • RAGでの取得件数 スケール則における資源増加と性能の関係 ベイズ誤差（床）による性能限界の概念 パラメータ増加 データ増加 計算量増加 ベイズ誤差 性能 資源(N) ベイズ誤差Bによる性能限界 2022年頃から議論され始め、2024年には広く浸透
6. スケール則に基づくAGI実現の可能性 | 2025 なぜスケールで性能が向上するのか（直感的理解） AIが境界線を学習する過程で様々な要因が精度を向上 パラメータを増やす データを増やす 学習計算を増やす 推論時計算（TTC） 境界線をより複雑かつ細かく 描けるようになる 境界線をより正確に推定 するための材料が増える 初期状態から正しい境界線 へと近づく探索をより深く 長文脈、反復、探索による その場での検証で精度向上 その他の強力な要因 RAG：不足している手掛かりをその場で取り寄せる。境界 線付近のデータを推論時に参照するイメージ モーダルを増やす：問題を描写する次元が広がる。2次元 では分類が難しくても、3次元以上の情報（別モーダル） が加わることで、より単純な境界線で分けられる
7. スケール則に基づくAGI実現の可能性 | 2025 費用曲線と現実：拡大の代償 コストの指数関数的成長 物理的制約の現実 スケール則の過酷な現実：誤差を半減させるには、資源を 約5,800倍に増やす必要がある 年率13%の性能改善維持には、計算資源を毎年5.7倍に増 加させなければならない 現実のGPU需要もこのペースで増加中（実際に年間5倍以 上の成長） AI学習用クラスタが世界中に建設され、データセンターの 電力消費量が急増 スタンフォードAI指標2025によると、フロンティアモデ ルの学習に必要な電力は年率40%増加 2030年までに業界全体の計算資源への累計投資が7兆ドル 規模に到達するという試算も AI開発コストの爆発的増加 GPT-3（2020） GPT-4（2023） 約1,200万ドル 2025年フロンティアモデル 推定1億ドル以上 推定10億ドル超 データセンターの電力危機 40% 10× 8% 年間電力消費 増加率 2020年比の 必要GPU数 世界の電力消費予測 （2030年） スケールによる可能性は果てしないが 物理的・経済的限界と向き合い続けなければならない
8. スケール則に基づくAGI実現の可能性 | 2025 スケール則の最新研究結果（2025年アップデート） スタンフォードAI指標2025の重要発見 2025年確認された拡張スケール則 モデルスケールは継続的に拡大—学習計算量は5ヶ月毎に 倍増、データセットは8ヶ月毎、電力使用は年毎に倍増 性能格差は縮小傾向—上位モデル間のスコア差は前年の 11.9%から5.4%に縮小 効率性の向上—推論コストは2年間で280倍低下し、ハー ドウェアコストは年30%減少 効率向上率γが年次倍増すると、AI性能はムーアの法則のよ うに指数関数的に成長可能 多項式的コスト増加の中でも、効率最適化で性能向上維持 マルチモーダルモデルの統合が、既存スケール則を超える 新たな成長曲線を生み出す AI性能のスケール則：計算リソース増加に対する誤差減少率 （対数-対数スケール、2020年-2025年データ） The 2025 AI Index Report Stanford HAI https://hai.stanford.edu/ai-index/2025-ai-index-report The Race to Efficiency: A New Perspective on AI Scaling Laws Chien-Ping Lu https://arxiv.org/abs/2501.02156
9. スケール則に基づくAGI実現の可能性 | 2025 AIモデルのスケールと性能向上のペース パラメータ数の指数的成長 • 2018年のGPT-1（0.1B）から2025年のGPT-5（推定3.5T） まで約3万倍に増加 • 約18ヶ月ごとに10倍のペースで成長（ムーアの法則を大幅に 上回る速度） • 2024年以降、単純な資源量の増加速度はやや鈍化 出典：OpenAI技術レポート、GraphLogic AI（2025年9月）、AI Index Report 2025 2018 2019 2020 2023 2025 GPT-1 GPT-2 GPT-3 GPT-4 GPT-5 0.117B 1.5B 175B 1.7T+ 3.5T+ 約25%* 約30%* 43.9% 86.4% 91.4% * GPT-1、GPT-2はMMBLUベンチマーク登場前のモデルのため推定値 MMLU（大規模多分野理解）スコア • 57の学術・職業分野にわたる多様な質問への回答精度 • 数学・科学・人文・専門知識を測定する標準ベンチマーク • GPT-5では91.4%を達成、人間の専門家レベル（89.8%）を 超える
10. スケール則に基づくAGI実現の可能性 | 2025 モーダル・スケーリング マルチモーダル統合の効果 ロボティクスへの応用と展望 現在最も過小評価されているAIの進化要因 視覚・音声・テキスト・行動の結合により、各モーダルの 知識を補完 モーダルを統合するほどデータ効率が向上 ロボット向けAIもマルチモーダル化により飛躍的進化 既存技術の延長線上で一段上の実用域に到達可能 課題は各モーダルの学習データ確保だが、効果は絶大 マルチモーダルAIの相互補完効果 視覚・音声・テキスト・行動の統合による性能向上
11. スケール則に基づくAGI実現の可能性 | 2025 スケール則による際限ない性能向上 計算資源の急速な拡大 効率化による指数的進展 マルチモーダル化による汎用化とスケール • スケール則がベイズ誤差（床）までの単調な性能向上を示唆 • 現実のデータでも確認された対数線形的な向上パターン • GPT-4→GPT-5の性能向上ペースでも人間超えは時間の問題 • AI学習用計算資源が年5倍規模で急拡大中 • NVIDIA GPUの生産ペースの加速とAIデータセンターの増加 • この成長率が維持されるなら理論上必要な資源は十分に確保可能 • 資源限界が差し迫る中でも、資源配分の最適化により効率化 • モデルパラメータ・データ・計算リソース配分の洗練による 性能/コスト比の向上 • MoEやSparsityなど技術開発により効率が年40%改善中 • 視覚・音声・行動など複数モーダル統合による世界理解の高度化 • モーダル間のデータ相互補完によるサンプル効率の劇的な向上 • 汎用性の急速な向上 現実的な結論 • ロボットなど物理的ボトルネックを除けば、AGI達成は時間の問題 • 達成後誰もが日常的に利用できるレベルまでコストが下がるまでには、まだ少し時間が必要かもしれない 既存技術の延長がAGI達成に十分である理由
12. スケール則に基づくAGI実現の可能性 | 2025 スケール則の限界 床（ベイズ誤差） 資源のミスマッチ 演算精度 アーキテクチャ限界 • 世界の曖昧さ・矛盾・ノイズが作る避けられない誤差の床 • 価値観の対立（国や地域による倫理観の違い）やデータ内の矛盾が 原因 • この床を超える性能向上は原理的に不可能。人もAGIも同様の制約を 受ける • スケール則は他の資源が十分である場合にのみ成立 • パラメータを増やすならデータも無限に必要という理想状態が前提 • 現実ではデータがボトルネックになることが多く、性能向上が鈍化 • 現状の16bit前後の演算精度では当面十分だが、将来的には制約に • 超大規模モデルでは演算精度の低下が精度劣化を招く可能性 • 配分設計を誤ると頭打ちの原因になる重要な技術的要素 • 現在主流のTransformerがデータ構造の一部しか捉えられていない 可能性 • Transformerが取りこぼしている構造が支配的なら、資源増加でも 性能向上せず • スケール則が観測されている領域では性能向上が継続する可能性が 高い
13. スケール則に基づくAGI実現の可能性 | 2025 その研究開発はスケール則を前提としても依然有益か？ 現行技術の9割は将来の高精度モデルにより不要になる 工夫は無駄ではない、しかし... 「いずれ規模で消える誤差と殴り合っている」だけの研究 開発は少なくない 高度な理論構築や複雑なアルゴリズム改善よりも、単純に 規模を拡大した方が効果的なことの方が多いという現実 「資金の多寡が正義になる局面」が存在する スケール則のご利益を享受する前提のもとに計画すべし 限られた資源をいかに効率的に配分するか できるだけ技術開発せず、最新の高性能AIモデルの活用を 工夫してどんどん成果に結びつける 複雑なアルゴリズム設計より単純なスケーリングが勝つ現実 ―資源の「配分設計」こそが真の勝負の場
14. スケール則に基づくAGI実現の可能性 | 2025 基礎研究開発の最適解：資源配分の最適化戦略 配分設計の4つの核心戦略 A. 学習時の配分最適化 B. 推論時計算（TTC）活用 C. モーダル統合に優先投資 D. ブレイクポイント検出 データへのコスト配分 トークン：パラメータ：学習ス テップの最適比率を検証 小規模で検証後、大規模に展開 長文脈、反復、検証、探索で性 能を引き上げ RAGでは量より質を重視 関連性・新鮮さ・多様性を設計 視覚＋言語＋行動など補完モー ダルから統合 データ不足モーダルは生成的合 成で強化 少ないデータで高い性能を実現 スケール曲線の曲率変化を定期 的に診断 早期に「床B」を見積もり到達限 界を認識 配分ミスの兆候を早期発見 配分設計の真髄 有限な資源をいかに効率的に活用するかが勝負の鍵。どの資源を・ど のタイミングで・どれだけ増やすかの最適解を見つけ出す。 資源配分の最適化プロセス データ 質と量のバランス 多様性と代表性 パラメータ サイズと密度 MoE・プルーニング 計算資源 GPUタイプと数 学習時間とバッチ モーダル 統合と相互補完 表現空間の拡張 ブレイクポイント検出 利得鈍化の早期発見で資源を再配分 最適配分の実現 床に到達するまでの最短・最効率パス 最適な資源配分戦略は、性能向上とコスト効率のバランスを実現
15. スケール則に基づくAGI実現の可能性 | 2025 AGI実現に向けた研究者・開発者への行動指針 してはいけないこと 進むべき道 • スケールで消える誤差に特化型アルゴリズムで挑む • 配分検証をせずに、安易にアーキテクチャを魔改造 1. 効率化と配分の研究 2. 本質的な限界の探求 3. 応用研究 研究者の主戦場。現実の有限資源での を示す反例の特定 既存高性能モデルで する実用的アプローチ 配分最適化 スケールでは消えない誤差 「何ができるか」を探求 KPI: コスト当たりの利得 誤差1%改善あたりのコスト 研究アプローチの有効性マトリクス スケールで消える 根拠のない魔改造 複雑なアルゴリズム開発 実証なしのアーキテクチャ変更 資源配分の最適化 スケール限界の特定 効率性重視の戦略設計 真に必要なブレイクスルー探求 「効率・配分・限界・応用」が勝利の鍵
16. スケール則に基づくAGI実現の可能性 | 2025 まとめ・結論 スケール則の延長でAGIが達成される可能性はかなり高い AIの急速な性能向上の天井はまだまだ見えていない 多くの限界説・既存のAI技術では不足説はスケール則を過小評価 基礎研究開発は配分最適化やモーダル統合に注力する 限られた資源（パラメータ・データ・計算・推論）の最適なバランスを設計する 実用に向けては汎用マルチモーダルモデルの使いこなしに注力する 視覚・言語・行動など、互いに補完し合うモーダルの統合で効率を高める スケール則に沿った努力で、効率よくAGIの実現を 視覚・言語・行動など、互いに補完し合うモーダルの統合で効率を高める