研究ユニット紹介

Transcript

1. 1 基礎研究リーダー 岩澤 有祐 准教授 メッセージ 松尾・岩澤研では「知能を創る」というミッションの下、研究を進めています。 ディープラーニングは、この10年強で数多くの領域でブレークスルーを起こしてきました。 技術進展により多くのことが明らかになり、単独の研究だけでなく、ディープラーニングを中心とした 異なる分野の研究との融合も進んでいます。解決すべき根本的な問題も数多く残されているものの、 知能を創るための道具がかつて無いほど揃った、面白い時代が訪れていると思います。 知能という大きな謎を解き明かすことは、産業的にも大きな意味があることは言うまでもありません。 知能を創るためには、技術の進展に合わせて様々なアプローチが必要になります。 松尾・岩澤研では基礎的な研究（ [1] 世界モデル、[2] 次世代ニューラルネット、[3] Brain-Inspired Intteligence ）から、 より応用に近い領域（[4] ロボティクス、[5] 大規模言語モデル、[6] 実データ・実応用を扱う実証研究）まで、 多岐に渡る研究を進めています。 こうした幅広い研究領域を掛け合わせることで、個々の技術に限らない、統合的なアプローチが可能となります。 応用の限界領域を探ることで、不足している技術を踏まえて基礎研究を進化させる、 それによりまた応用領域を広げる、といったサイクルを構築することを目指しています。 当然知能を創るためには、技術の進展に合わせて様々なアプローチが必要になりますし、 目的達成のために今後も領域は拡大していく予定です。 現在の研究テーマを以下に示しているので、参考にしていただきながら、これらの取り組みに共感される方々 の参加を心から歓迎します。 参考：岩澤インタビュー記事 「視野を広げ、長期的な研究に打ち込める。」常に変化を続ける、松尾研での９年間。
2. 研究ミッション 多様な情報源から環境の様々な側面を捉える表現を獲得し、未知の環境に適応可能な世界モデルを構築する テーマ① マルチ モーダル 異なるセンサ・アクチュエータデータや、 大規模言語モデルなど、様々な種類の情報源 を統合し、高精度な環境理解を目指す。 テーマ② 時空間表現 学習 外界の物体や長期的な動作を様々な時空間 レベルで抽象化した表現を獲得し、複雑な環 境の効率的な学習・予測を目指す。 テーマ③ 未知環境 への適応 大規模モデルの学習や、異なる環境で学習さ れた複数の世界モデルの統合や転移を 通じ、未知の環境でも柔軟かつ正確に対応で きるモデルの構築を目指す。 [1] 世界モデル • マルチモーダル学習 • Vision Language Mode • 言語補助世界モデル • モデル融合 • 系列生成モデル • 状態表現学習 • 階層型強化学習 • 物体中心表現学習 • 行動の抽象化 （Option, Skill, Action Primitive) • モデル汎化 • メタ学習 • 転移学習 • スケーリング / 動画での事前学習 キーワード例 キーワード例 キーワード例
3. 研究ミッション ディープラーニングの限界を突破した新しいモデルや学習アルゴリズムを開発する テーマ① 構造探索 データの性質を反映したネットワーク構造を自 己教師あり学習を通じて発見する。 • 宝くじ仮説，強い宝くじ仮説 • 自己教師あり学習 • Neural Architecture Search • Dynamic Sparse Training • グラフ表現 • Grokking テーマ② 新しい 学習アルゴ リズム • Backpropagation-Free Training • エネルギーベースモデル • Deep Equilibrium Model • Predictive Coding • リザバーコンピューティング 誤差逆伝播の考え方にとらわれない 新しい学習アルゴリズムを開発する。 テーマ③ モジュラ型 NN • Disentanglement • モジュラNN • 破滅的忘却、継続学習 • Mixture of Expert • サーキットの発見 • カリキュラム学習 局所的な更新により、 破滅的忘却を防いで継続的に学習する。 [2] 次世代ニューラルネットワーク キーワード例 キーワード例 キーワード例
4. 研究ミッション 脳参照アーキテクチャ(BRA)をベースにしたモデル開発や分析を通じ、脳の仕組みを解き明かす テーマ① 全脳BRA 構築 神経科学知見に基づき、脳全体にわたるBRA データの構築と評価を行う。 他方で部分的に計算機能の仮説をHCD/FRG として構築し、計算モデルを実装する。 • 脳参照アーキテクチャ(BRA) • 脳情報フロー（BIF) • 仮説的コンポーネント図（HCD） • 機能実現グラフ(FRG) • Strructure-constrained Interface Decomposition (SCID) 法 テーマ② ヒト脳型AGI • AIアライメント (脳に基づく解釈可能性等を含む) • 脳シミュレーションと脳の分析 • 脳の機能不全のモデル化 • 人と親和性の高いコミュニケーション BRAを活用し、脳モデルの実装や、脳データの 解析を行う。モデルを用いた機能不全の分析 （医療）や脳のように機能や状態（意図・欺瞞な ど）を解釈できる可能性を探求する。 テーマ③ データ 自動生成 • BRAデータの自動評価と自動作成 • WBA技術ロードマップ • 大規模言語モデル • BRA Editorial System (BRAES) • Bibliographic database for BRA (BDBRA) BRAデータの作成/評価に関わる パイプラインを構築し、LLMを用いて自動化する。 2027年までに最初の全脳BRAを構築し、 その後は自動更新できる状況を目指す。 [3] Brain-Inspired Intelligence キーワード例 キーワード例 キーワード例
5. • 高速なシミュレータ • 遠隔操作によるデータ収集 • スケーラブルな強化学習・模倣学習 • 新しい環境への適応 • 状態表現学習，世界モデル • モジュラーロボット • 力触覚を考慮した物体操作 • 双腕・多腕による物体操作 • 柔軟物の操作・モデリング • 料理ロボット • 実験自動化 • ソフトロボット • 環境の認識と制御の融合 • 家庭内生活支援タスク • モバイルマニピュレータ • Locomanipulation・ヒューマノイド • 基盤モデルの非同期・分散型ロボットシ ステムへの統合 • Task and Motion Planning (TAMP) • ハードウェア設計最適化 研究ミッション 身体を持つシステムとしてのロボット実装やデータ収集を通じ、「かしこい」振る舞いを生み出す [4] ロボティクス キーワード例 キーワード例 キーワード例 効率的なデータ収集を通じてロボット基盤 モデルの構築し、多様なタスク・環境・ ロボットへ汎化・適応する方法を確立する。 現実世界で器用な動作をするために、 視覚・言語だけに頼らない制御や認識 モデルを学習する。 ロボットが現実世界をリアルタイムに 移動しながら常に環境を認識し、 動作を生成する。 テーマ① ロボット 基盤モデル テーマ② 巧みな 物体操作 テーマ③ 全身制御
6. 研究ミッション 大規模言語モデルの挙動を理解・制御し、次世代の大規模言語モデルの研究に挑む 大規模言語モデルの性能 / 進化の源泉を 理解し、その知見を使ってモデルの挙動を制 御する。 • 内部挙動の分析（Logit Lense, Circuits, Induction Head, Task Vector) • 文脈内学習 • AI Safety (Hallucination, Bias, Watermark, Prompt Attack, Unlearning, Copyright) • 学習データの科学、疑似データの生成 • 計算言語学との融合 • 状態空間モデル • 軽量化 • マルチモーダル, VLM • Multi-token Prediction • モデル融合 • LLMエージェント (ツール利用） • LLMの自己進化 現状のTransformer構造をベースとした大規模言 語モデルのパラダイムを打破し、より効率的で高 い性能を発揮する次世代の大規模 言語モデルの研究に挑む。 • Domain-specific Fine-tuning • 継続事前学習 • PEFT (LoRA, Prompt-tuning) • 知識ベースとの融合 • ルールの遵守 • 医療LLM 大規模言語モデルの社会実装を行う上で 重要な領域特化の研究を行う。 医療、金融等の専門領域に特化する研究、 そして特化手法自体に対する研究も行う。 [5] 大規模言語モデル キーワード例 キーワード例 キーワード例 テーマ① 動作原理の 理解と制御 テーマ③ ドメイン 特化 テーマ② Beyond Transformer
7. 研究ミッション 実社会課題への基礎技術適用により新たな価値を創出し，基礎研究にその適用範囲・限界を還元する 実サービスでの機械学習モデルの学習や運 用において大量のラベル付きデータセットの 用意は困難である状況が多いため、 対処のための方法論の構築を目指す。 • データ拡張 • 能動学習 • メタ学習 • 少数ラベル/ラベルなし評価 • ガウス過程 • 構造化データ・時空間データ • 実験計画・ブラックボックス最適化 • 因果推論・反実仮想機械学習 • Human-in-the-loop • 解釈性・説明可能性 実データが持つ性質や課題に対して、既存の手 法の適用だけでなく、本質的な課題に対し ドメイン知識や技術を用いて新たな解決方法を 模索していく。 • 自動運転 • 医療 • 地方行政 • ユーザインターフェース • 教育 医療AIや自動運転など人々の生活を豊かにす る技術領域における様々な課題に挑み、 より良い社会の実現を目指す。 [6] 社会実証 キーワード例 キーワード例 キーワード例 テーマ① データ効率 学習 テーマ② ドメイン 知識の融合 テーマ③ AI for Social Good
8. 募集詳細は松尾・岩澤研究室HPよりご確認ください。