研究ができる人工知能の実現へ向けた課題の検討

Transcript

1. 研究ができる人工知能の 実現へ向けた課題の検討 2023/10/21@上智大学
4. 0. はじめに
5. （汎用的で自律的な） 研究できる AI を実現するため にはどんな課題があるか？
6. 研究はどこまで人間から自由 になれるか？
7. 研究ができる AI とは？ 1. 研究の自動化の試みは？ 2. 課題は？ 3.
8. 今日の話は コーヒーブレイクぐらいの 気持ちで聞いてください ☕️
9. 　1. 研究ができる AI とは？
10. 研究とは ある社会にとっての新しい知識を 生産する行為？
11. 知識とは 正当化された真なる信念？ [Steup+ 2020]
12. 知識の生産とは 信念を更新すること？
13. 研究で生み出される知識は 個人にとどまららず人類社会全体の知識 → 共通信念の更新？
14. 知識が新しいとは ある問いに対して真であると強く信じられる 仮説がそれまで存在しなかったということ？
15. この定義から得られる示唆は？
16. a. 研究は問いの構築+仮説生成+仮説検証？ b. 有意味な知識生産の自律的実行は困難？ c. 研究を知識生産とする定義は不適当？
17. 知識は新規である必要がある → 問いの構築 問いに対して答えを出す（答えは未知） → 仮説の生成 仮説が真であるという信念を正当化する必要 → 仮説の検証
18. 知識が信念ならば主体/社会に対して相対的 → AI が自律的に生産した知識は人には無意味 　 （検証をゼロから自律的に構成した場合）
19. 人の信念は長期間の自然との相互作用の産物 → 人は信念に基づいても自然理解につながる → AI の自律的検証は自然理解に向かわない？
20. 人間の知識に限定する 自然と整合的な知識の基盤を考える 研究を新しいパターンの発見と捉える 認識論的プラグマティズム
21. 研究を知識生産とすべきではない？ 研究を包括的に定義するべきではない？ 信念より自然との整合性を強調する？ 帰納推論の妥当性は前提とする？ 研究を自然の新規なパターンの発見とする？ 研究をより良い制御をもたらすものとする？ etc...
22. 2. 研究の自動化の試みは？
23. [Lindsay+ 1993] [Langley 1977]
24. [King+ 2004]
25. [Hey+ 2009] [Grey 2009]
26. [Gil 2021] [Lud ̈ ascher+ 2009]
27. [https://www.deepmind.com/blog/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology]
28. [Wang+ 2023] [Zhang+ 2023]
29. [Coley+ 2020] [Rajpurkar+ 2022] [Sun+ 2022] [Carleo+ 2020] [Xu+ 2021]
30. [Hao+ 2022] [Baker+ 2019] [Kramer+ 2022] Active Learning Causal Inference OOD Generalization Anomaly Detection Uncertainty Quantification etc...
31. [Burger+ 2020] [Yachie+ 2017]
32. [Hutter+ 2018] [Kreuzberger+ 2023] [Rabe+ 2021]
33. [https://sdproc.org/2024/]
34. [Yuan+ 2021] [Liang+ 2023]
35. [Boiko+ 2023] [Qin+ 2023]
36. [Singhal+ 2023] [Taylor+ 2022] [Azerbayev+ 2023]
37. Generality 特定の研究領域の特定の研究課題の自動化 Autonomy 特定の研究過程の特定のタスクの自動化 人間が事前に定めた範囲での問いの生成/ 仮説の生成/仮説の検証 [Coley+ 2020]
38. [Kang+ 2020] [Liu+ 2020]
39. [Kitano+ 2021] [Coley+ 2021] [Zenil+ 2023] [Hope+ 2022]
40. 　3. 課題は？
41. 汎用的な問いの構築/仮説生成/仮説検証 オープンエンドな/人の準備が少ない ... 問い：問いの前提となる大目標の設定 仮説：機械にも答えが未知な時の仮説生成 検証：自在に行動できる能力の獲得 系統的/記号的思考の獲得 自律的な知識生産と alignment の問題 　など
42. 査読の自動化 需要がある 問い/仮説/検証等の「良さ」の理解が必要 研究の生成ではなく識別（評価）タスク 幅広い研究分野での慣行であり汎用的 ほぼテキスト操作で完結する
43. 汎用的な方法で自律的に機械学習の研究をする AI のプロトタイピング 作ることで課題が明確になる 行動がコンピュータ内に限定される 研究の自動化の研究の自動化に寄与する 多くの分野の研究の自動化に寄与する 　など
44. GPT-4 Text
45. 答え以外の余計な文章
46. 他の研究でも使えるような汎用的な指示のみ
55. 対照実験を理解・実行 言語モデルを自律的に使用　 自らサンプルデータを作成　
56. 人間レベルの研究は全くできていない 仮説がオリジナルでもなんでもない 問題文に表示される例に引っ張られる 検証時、仮説を不正確に表現してしまう 統計的仮説検定の不適当な使用がある 指示に従わないことがある API key などは人間が設定している 　など多くの課題
57. 　4. おわりに
58. 自律的に研究ができる汎用人工知能への取り 組みは始まったばかりで、多くの課題がある 研究とは何か/であるべきかの議論が重要 汎用的でオープンエンドな問いの構築/仮 説の生成/仮説の検証への注目が必要 プロトタイピングなどを通じてまず課題 を炙り出すことが重要
59. [https://openinterpreter.com/] [Viswanathan+ 2023]
60. [Nielsen & Qiu+ 2022]