研究・執筆支援ツールとしての生成AI

研究・執筆支援ツールとしての生成AI 2023年7月29日三田図書館・情報学会第191回月例会田島逸郎<[email protected]> 合同会社Georepublic Japan

資料 • 本発表でとりあげる、実際に執筆に生成AIを使った対話ログなどです。パラパラとめくってくだされば幸いです。 • 研究支援の対話ログ: • https://github.com/niryuu/dc2023-data • オモイカネプロジェクト:
• https://scrapbox.io/omoikane • AI小説: • https://scrapbox.io/omoikane/AI%E5%B0%8F%E8%AA% AC • AI小説の執筆過程でのAIの利用: • https://scrapbox.io/omoikane/AI%E5%B0%8F%E8%AA% AC%E3%82%92%E6%9B%B8%E3%81%8F%E3%81%A8 %E3%81%8D%E3%81%AEAI%E3%81%AE%E4%BD%BF %E3%81%84%E6%96%B9%E4%BA%8B%E4%BE%8B

自己紹介 • 慶應義塾大学大学院文学研究科図書館・情報学専攻博士課程、単位取得退学(2015-2021) • Georepublic Japan GK. R&D/GIS Specialist(2012-)
• 土木インフラ、防災に関する3D地理空間情報の研究開発 • プログラミングに関する質問回答サイトStack Overflowを研究 • 生成AIによる真偽不明の回答が大量に投稿され存亡の危機。 • 生成AIとの関わり:2月にBing(GPT-4)に本来想定されていないはずの質問生成能力を発見し、3月に学会発表 • 7/28 情報処理学会より2023年度山下記念研究賞を受賞 • SFを読み書きしてAIについて考える活動に関わる

はじめに • 生成AI(本発表では大規模言語モデルに基づくものを対象)は急激に普及している • 既に多くの人にアクセスされ、利用されているだろう 0 50 100 150
200 250 300 350 Facebook iPhone mRNAワクチン ChatGPT 利用者100万人到達までの期間[日]

ツールとしての生成AI • 生成AIの使い方: 指示(プロンプト)と文章を与えると、それにしたがった文章を生成する • 生成AIの特徴: 特定のタスクに特化しておらず、さまざまなことができそうだが、何ができるかはわからない •
利用方法を模索していく必要(探索的研究) • AIの背後にある言語モデルに注目した研究も可能だが • 人々は既に、試行錯誤しながら生成AIを利用している • つまり、人々による探索的研究が現場で起こっている

ツールとしての生成AI • 人々による探索的研究が現場で起こっている • 研究をする、執筆をするなど、人々はさまざまなことを目指して物事をおこなっている • 生成AIの利用も、その状況の中で特有のやり方でなされ、それは目指していることと切り離せない •
また、「生成AIとはどんなもので、何ができるのか」ということも、実際に使う中で明らかになっていく • ツールとしての生成AI=利用者から見た生成AI • それを分析したり、AIを利用した活動に参加した経験を報告します

研究支援ツールとしての生成AI

研究支援の範囲を広げる『資料検索入門』より「レポート・論文を書くためのプロセス」(p.16) 1. 論文のテーマを決める 2. テーマについての情報を集める 3. 問いを設定する 4.
問いを解決するための情報を収集する 5. アウトライン・章立てを考える 6. 書く(下書き・修正・構成) 生成AIは文章を扱えるため、情報源へのアクセスだけでなく思考・執筆に支援の範囲を広げられる可能性がある

質問による執筆支援 • 学問は問いと答えによって進展する • ゼミ、学会、査読などでさまざまな段階の知見を共有し、フィードバックを得ることで研究が進む • この会もその一つですので、お待ちしております • AIに質問などのフィードバックをさせられないか
• というのも、良いフィードバックを得るには、良い文章が必要という、最初の壁を超えたい→AIによる支援 • 難しいとされてきたが、できてしまった • では、どのような質問を生成できるのか？ • 本当に研究の役に立つのか？ • ということについて研究しています

2月:アブストラクトへの質問の生成 • データ:自分が論文を書く中で、生成AIを利用した経験 • 当時文字数に強い限界があったため、アブストラクトを書き、それに質問をしてもらった • 現在はアブストラクトと本文を組み合わせる方法を試験中 • プロンプト：「以下の文章に専門的で建設的で創造的
な質問をしてください」 • 以下のような種類の質問が得られた • 内容に関する質問 • 文章構成に関する質問 • ある概念を深める質問

生成AIは質問を生成できる

内容に関する質問 • 初期Abst抜粋:AIは有用であるという仮説を立てることができる。この仮説を検証するため、実際に論文を書いてその過程をエスノメソドロジー的ワークの研究として記述することを試みようとしている。 • 質問:論文を書く過程をエスノメソドロジー的ワークの研究として記述することで、どのような知見が得られると期待していますか？その知見は学術研究における
AIの活用方法や効果に関するものですか？

内容に関する質問 • まず、与えられた文章に基づいた質問である • 提案手法の詳細、分析方法と明らかにしたいことのつながり、評価指標など、研究者が研究をする際に気にかける事項に関する質問である • (プロンプトが手法の提案であることに質問で気づいた) •
以上から、学術的文章に対する質問による学術的なフィードバックであるとみることができる • 一方で、特定の専門を持つ深い関心に基づいた質問ではない

文章構成に関する質問 • (内容に関する質問に答えた後) • では、次の質問は、文章の構成や論理展開に関連しています。 • 文章の構成はどのようなものですか？どのような順序で内容を提示していますか？ •
文章における仮説や主張は何ですか？それらを裏付ける根拠やデータはありますか？ • 文章における先行研究や関連研究は何ですか？それらとの対比や貢献は明確に示されていますか？ • 文章における限界や課題は何ですか？今後の展望や応用例はありますか？

文章構成に関する質問 • それでは、次の質問は、文章の目的や意義に関連しています。 • 文章が解決しようとしている問題や課題は何ですか？それはなぜ重要ですか？ • 文章が提供しようとしている価値や貢献は何ですか？それはどのような影響を与えますか？
• 文章が対象としている読者や利用者は誰ですか？それらの人々にとって文章はどのようなメリットがありますか？

文章構成に関する質問 • それでは、次の質問は、文章の方法論や分析手法に関連しています。 • 文章で使用する対話データはどこから入手しましたか？そのデータはどのような特徴や品質を持っていますか？ • 文章で使用する自然言語処理モデルはどのようなものですか？そのモデルはどのように学習されましたか？
• 文章で行う質問生成と質疑応答の分析はどのような指標や基準で行いますか？その指標や基準はどのように妥当性を確保しますか？

文章構成に関する質問 • 調整が入ったからか、文章構成に関する質問や指摘が中心になった(追試:今は内容と構成が混ざっている) • 文章の内容や目的(目的、方法、結果の立ち位置) • 文章の構成や論理展開(順序、仮説や主張、先行研究、限界) • 文章の目的や意義(想定読者と提供する価値)
• 「論文の書き方」本のような指摘である。理解できても気づくのが難しく、対話的フィードバックが有効 • 文章構成は研究の論理構造である • 研究の核となるとも言える • 本報告でも、生成AIと研究・執筆支援の間の整合性が必要

対話を続けることによる深掘りした議論 • アブストラクトを修正、プロンプトへの言及を加えた • 「プロンプト(..)とはどのような手法でしょうか？」 • 言語モデルの学習方法とプロンプトについて説明 • 「どのようなプロンプトを指示するのでしょうか。また、そのプロンプトはどのようにして作成したのでしょう
か。」 • 作成方法と作成したプロンプトを提示 • 「AIチャットが出力した質問や指摘は、専門的で建設的で創造的であったのでしょうか。また、それらは学術研究に資するものであったのでしょうか。この点についても実際の例を挙げて説明していただければと思います。」

対話を続けることによる深掘りした議論 • 以上の議論は徹頭徹尾プロンプトに関連したものだったが、一連のやり取りからプロンプトに基づいた対話を実例で分析するという研究の骨子について明確にできた • 一つのトピックから研究全体を深堀りできたといえる

ここまでの結果のまとめ • 生成AIの質問は、学術的な文章に学術的なフィードバックを与えるという点で学術的であった • 内容面、文章構成面に関する指摘があった • 深堀りもできた • 以上は「専門的で建設的で創造的」であり、少なくと
も著者にとっては有用な支援だった • これらの質問は研究者の常識的な関心事でもあった • その点で、生成AIによるフィードバックによる研究支援の手法は有用であると考えられる

初期(研究計画段階)のアブストラクト • 学術研究におけるAIの活用は、論文の検索、質問への回答などの形で行われてきた。これらはデータからの学習に基づくものであり、新たな知見を得るための創造的な活動を支援することは困難であると考えられてきた。しかし、現在登場した大規模言語モデルに基づくAIは、チューニングによって文章に対して建設的で創造的な質問や指摘をある程度行うことができる。これは、大学のゼミなどで行われている活動であり、質問や指摘は学術研究に不可欠である。このため、大学などに所属してい
ない個人研究者にとってはAIは有用であるという仮説を立てることができる。この仮説を検証するため、実際に論文を書いてエスノメソドロジー的ワークの研究として記述することを試みようとしている。

完成稿(方法まで)要は全部直した • 大規模言語モデル（LLM）は，ChatGPT や Bing Chat のような人間との「自然な」対話を生成するように進歩している． LLM は，教育や学術研究などを含め，様々な用途に利用しうる．
しかし，LLM がどのようなタスクを実行できるかは明らかではなく，探索的な研究が必要である．本研究では，AI に人間による文書に対して質問や問題点の指摘をさせる大学のゼミのような方法を提示し，またそれがどのように学術研究に貢献できるかを調査することを目指す．まず，AI と人間の実際の対話を収集した．その上で，その対話をエスノメソドロジー的ワークの研究の方針に従って分析し，人間と AI との対話がどのように学術研究の場となりうるか，特に，（1）応答がいかにして学術的なものとして，さらに（2）学術研究の発展に貢献できるようなものとして受け取られるかを分析した．

あるトピック自分が書いた文章生成された文章フィードバック文章を書いて！教えて！質問して！～の観点で評価して！生成AIによる支援への考え方(1)
• 生成AIをざっくりいうと:文章から文章を生成する • 上の「生成させる」という理解が一般的だが • 以下のどちらも可能。適切に使い分けるべき • ChatGPTでは混ざっていて分けられないことも

生成AIによる SF執筆支援の試み

「オモイカネプロジェクト」 • 背景:OpenAI社がAIに関するルールを民主的プロセスで決めるプロジェクトに補助金を出していた • 技術で社会課題を解決するCode for Japanに持ち込む • 問題：AIに起因する問題は多くの人が経験していない
• だから、想像力を喚起する必要がある • その手段としてのSFプロトタイピング • スローガン:「SFを書いたり読んだりして、AIの未来について考えよう！」

「オモイカネプロジェクト」 • 当初の目論見：人間がSFを書く、支援AIがあれば良い • 実際：SFや物語を書いたことのない人々がAIの助けを借りながら書くように。フィードバックも活発。 • つまり、AIによる支援をこちらが考える前に、どんどん新しい書き方、読み方が生まれた •
物語を読んでAIの未来について考えるだけでなく • AIを使い物語を書くことで未来を実際に体験する • 最初の1か月でAIを活用した物語が42本以上 • どのように生成・支援に使われたか？

様々な「生成」の仕方 • 何を生成させるか:「童話」「演説」「勧誘文章」など • 文章から別の文章への変換 • 赤ずきんなどの童話をAIに関するSFに変換する • 同じ状況から異なる考え方の主人公を行動させる •
「逆の立場」を書かせる:何が逆だと生成AIが捉えるかが問題に • 好きな曲の歌詞からSFを生成 • 様々なプロセスによる生成 • チャットでの対話による段階的な改善 • まず概念を説明させた上で、その要素を織り込んだSFを生成 • 各段落の役割を1つ1つ指示 • ダイスを振って展開を変えていく

様々な「支援」の仕方 • 作品に対するフィードバック • 感想や意見を求める • 自分も知らない教訓を考えてもらう • 改善案の提案 •
執筆には様々な段階があるが、どこでフィードバックをもらうかが多様 • アイデア • 世界観 • プロットやアウトライン • 本文

AIと執筆について対話すること • 実際のところ、「生成」と「フィードバックによる支援」は対話の中で混ざっている • AIが提案したことから人が考えたり、人が考えたら文章化してAIにフィードバックさせたりと両方があった • 執筆プロセス自体のマネジメント:「ネクストアクションは何か？」
• SFの執筆では、生成AIの柔軟性がそれぞれの得意不得意に合った執筆の仕方を可能にしている

SFの執筆にどう役立ったのか？ • 初期的観察 • 多くの作品は、いわゆる小説の形式ではなかった • 「SFや小説とは何か」についてはご勘弁を… • プロット段階や「あらすじ」も多かった •
それらは実際に読まれ、感想も書かれた • 参加者はAIについて考え、様々な意見に分かれた • 物語を通じて「未来を考える」目的は果たしていた • 不完全なSFとして見るか、物語の新しい形式などとして見るか→受け取られ方による

人やAIによる文章人やAIによる文章 AIによって改善された文章人によって改善された文章これを付け加えて！これに変えて！
感想をお願い！～の観点で評価して！生成AIによる支援の考え方(2) • 生成AIの別の見方:文章から別の文章に変換する • 生成AIはもともとニューラル機械翻訳、ある言語から他言語への変換の仕組みから発展 • 文章の改善は人がやってもAIがやってもよい

まとめとインプリケーション

生成AIの活用に必要なリテラシー • 情報リテラシー？メディアリテラシー？コンピュータリテラシー？AIリテラシー？ • リテラシー：文章を読み書きする能力 • 生成AIは文章が核。読み書きできないと活用できない • 生成AIに明確に指示する：指示を書く能力が必要
• 難しい概念について、平易に書かないと誤解されてしまった。その過程で人間側の概念の理解も洗練された • 「GPT-4にもわかる～～」 • オモイカネプロジェクトにおける議論:「未来現代文」

情報源へのアクセスの必要性 • 生成AIはこちらの提示した研究をそのまま正しいものとして受け入れた→正しさの検証は自分でやる必要 • あるSF執筆のAIとの対話ログ：AIによる新しい落語 • AIが「かちかち山」を演目にすることを提案→「かちかち山」とはなにか聞いたらでたらめな物語を生成 •
面白かった • 問題：誰も気づかなかった。大人になったからか、皆元の「かちかち山」を忘れていたのではないか • 調べてギャップに気づくところまでを物語と捉えれば面白い • 生成や指示には、正確な情報へのアクセスがより必要

かちかち山 • かちかち山 • 悪さをするタヌキがおじいさんに捕らえられたが、おばあさんを殺して汁にしておじいさんに飲ませてしまう。おじいさんは仇討のためにウサギに相談し、ウサギは凄惨な拷問の末にタヌキを殺害する。 • AIに聞いたかちかち山
• 夫婦が山に行ったら夫が「かちかち」という音をしながら木に取り込まれてしまう。妻は村の老人に相談をする。老人が夫に「早く帰ろう」と言ったら夫は「がちがち」という音とともに元に戻る。

課題: 生成AIをどう使うか？ • 以上のように、生成AIには様々な指示ができる • 何ができて、どこまでが限界なのだろうか？ • 図式的な表現をしたが、人々は使う中で生成AIの特性を学んでいる可能性 •
1つのアプローチ:実際の利用者は、既に物語を書くなど、自分がやったことのないことにすらも、AIに新しい使い方を見い出している。それを理解する • つまり、生成AIの利用の多様性は人々にとっての課題 • それを理解し、使い方やシステムを提案できるだろう

結論 • 今結論を出すのは時期尚早、試行錯誤が必要参考文献市古みどり・上岡真紀子・保坂睦 (2014). 『資料検索入門 ― レポート・論文を書くために』. 慶應義塾大学出版
会. 160p. 田島逸郎 (2023). 「大規模言語モデルに基づいた対話型AIによる研究支援に関する初歩的分析」『研究報告ドキュメントコミュニケーション』128, 1-6. 情報処理学会 http://id.nii.ac.jp/1001/00225472/ 岡野原大輔 (2023). 『大規模言語モデルは新たな知能か――ChatGPTが変えた世界 (岩波科学ライブラリー)』. 岩波書店. 136p. 黒橋禎夫 (2023). 『自然言語処理〔三訂版〕』. 放送大学教育振興会. 228p.

研究・執筆支援ツールとしての生成AI

研究・執筆支援ツールとしての生成AI

Tajima Itsuro

More Decks by Tajima Itsuro

Other Decks in Research

Featured

Transcript