研究自動化と研究過程の構造化

研究自動化と研究過程の構造化研究自動化と研究過程の構造化高木志郎高木志郎

名前：高木志郎専門：機械学習 twt：@takagi_shiro 　研究ができる機械が作りたい

0.はじめに 0.はじめに

自律的に研究する知能を作りたい自律的に研究する知能を作るためには何が必要かを知りたい研究に必要な機能という観点から研究という過程を構造化研究で一般に人は何をするか？ではなく研究が研究であるためには何がないといけないか？という観点からの区分

研究はある社会にとっての新しい知識を生産する営み？知識は新しくなければいけない → 未知を特定しそれを明らかにすると決める = 問いの生成ここで問いは必ずしも why に限らない一般的なクエリ why
question、how question、what question 問いを立てそれに答えを出そうとするのが研究という営み？ → 答えは未知なので答えの「予想」をする = 仮説の生成 → 答えの予想が答えであることを確かめる = 仮説の検証「仮説検証型研究に限らず、研究とされる営みには一般に問いの生成/仮説の生成/仮説の検証が必要では？」というかなり強い主張

https://www.morikita.co.jp/books/mid/094361

1.作戦の立案 2.作戦の準備 3.作戦の実施 4.作戦の引継私は研究に必要だと思われる機能の立場から分類石原先生は実際研究者が研究でやる作業を抽象化/構造化問いの生成仮説の生成仮説の検証

研究課題生成 Paper Objective 課題解決法生成手法有効性検証論文執筆部分問題へ分解新規性判断重要性判断実現可能性判断
先行研究調査課題定式/具体化 ... etc. 課題原因分析解法案生成解法案定式化解法案実装 ... etc. 実験計画策定実験準備実験実施データ分析/整理 ... etc. 「導入」執筆「提案」執筆「実験」執筆 ... etc. しかし私が実際に今やってるのは人間の研究過程を参考に具体的な機械学習研究を自動的に実施するシステムのプロトタイピング現在の LLM ではまだ自律的な研究実施は困難だから人のような研究をさせるには人間の研究過程が参考になるから石原先生の整理をベースに具体的にどこが難しいのか、なぜ今 ML 研究の自動化に注力してるのか etc. を話していきます

1.作戦の立案 1.作戦の立案

理想の提示課題の設定問題の推定アプローチ選択目標の配置手段の決定 https://note.com/hisashi_is/n/ne5a7cae4854d

現状の把握理想の提示課題の設定問題の推定アプローチ選択目標の配置手段の決定それっぽい論文は見つけられるが体系的かつ網羅的かつ批判的なサーベイはまだできない review
論文を与えるなど工夫が必要機械が人の知的現状を完璧に把握する困難？機械が研究の先の理想を出力させる試みはまだ何でもありなので自動生成は困難/人間社会のための理想を考えても考慮すべきことが膨大安全上やらせるべきかという問題？ LLM の出現により大きく改善した部分だが、「実現可能性」と「重要性」を考慮するような複雑な価値判断に基づく課題設定はまだ課題特定はできるはず同左/課題の分解は LLM の登場で進んだ分野/一方で人がやるような分析的な深掘りはまだ系統的思考の獲得が重要問題推定はできるはず上と同様「効果的な」ものは選べるかもだが「現実的で」「着実な」ものを選ぶのはまだアプローチ選択はできるはず同上/LLMで課題分解の自動化は容易になったが、望ましい性質を持つ目標を原理から選ぶのはまだ目標の配置はできるはず同上/LLMで手段決定の自動化は容易になったが現実的なものを原理から常に選択するのはまだ手段決定もできるはず

2.作戦の準備 2.作戦の準備

準備は研究において必要不可欠な工程だがこれまで研究の自動化で注目されてこなかった & 自律的な実行が困難な激ムズフェーズ（広義には planning だが）すべきことが最終的な目標からかけ離れてる度合いが大きい 1. （多くの場合）研究が実施される世界との複雑な相互作用が必要
2. Grieves et al, 2020 https://sacla.xfel.jp/?p=312&lang=en https://rbi.co.jp/concept/

ある機械学習の研究リポジトリの準備提案手法の実装比較手法の準備データセットの準備評価指標の準備実験スクリプトの実装 etc. https://github.com/OpenInterpreter/open-interpreter https://www.cognition-labs.com/introducing-devin
ある種の機械学習研究はその準備も含め PC 上で完結する & LLM により PC 上の任意の操作の自動実行がより現実的になっている

3.作戦の実施 3.作戦の実施

仮説の整理証拠の収集証拠の分析事実の推理研究成果ここを完全に自律化するのは難しそう常にリストアップした仮説だけを修正するのであれば難しくはないが、それら以外の可能性も含めて検討するのは難しい特に、検証結果から当初の問い以外の別の問い
を立てるダイナミクスの再現は難しそう仮説を網羅的にリストアップするのは難しそう証拠の収集が物理世界との相互作用を必要とする場合は先述の理由と同様の意味で難しいタスクだと思うが、この流れ全体自体の自律実行は意外とできたりするのではないかと思うただし現状研究のような検証をやらせる機械学習研究は私が認識する限りほぼない

少なくとも短期的には人間との共同で研究を半自律的に実行する未来になるはず（Human in the Loop）安全性などの観点から長期的にもそうあるべきという主張もありうるその時に、いつなにをどのように人間に報告/相談させるかは重要なトピックになりうる https://x.com/hisashi_is/status/1467697331340734465

4.作戦の引継 4.作戦の引継

最初から最後までの論文執筆はそのうちできる単に文書生成だしある程度構造があるし膨大な論文があるからそもそも論文にするかという議論もある今の技術でもできるはず書くこと大体決まってるし論文執筆以前に必要な情報以上で盛り込まなければいけない情報はほぼないしかし今はできてない長文/引用が文書をまたぐ処理/唯一に定まるほどは構造がない全ての研究者が論文に入れ込むべき情報を微細な構造まで含めて必ずしも言語化し明示的に認識できているわけではない

https://s3-service-broker-live-19ea8b98-4d41-4cb4-be4c-d68f4963b7dd.s3.amazonaws.com/uploads/ckeditor/attachments/7808/2c_Summary_para.pdf

https://x.com/hisashi_is/status/1471675264925114377

なぜ論文の形で生成する必要があるか？インパクトが研究を進める擬似査読が受けられる

おわりにおわりに

研究過程の構造化は研究を自動的に実行するシステム、ひいては自律的に研究を実行する人工エージェントを作成する上で重要特に人間の実際の研究の「行動」に沿った構造化は AI に研究をさせるために何を実行させるか明確にする上で貴重ぜひ皆様の研究過程の知識も言語化/構造化して共有してください！ﾖﾛｼｸ!

研究自動化と研究過程の構造化

研究自動化と研究過程の構造化

Shiro Takagi

More Decks by Shiro Takagi

Featured

Transcript