ナレッジグラフ推論チャレンジ2023〜生成AI時代のナレッジグラフ構築技術〜の紹介

Website: https://challenge.knowledge-graph.jp/2023/

2023/08/29に開催された「LODチャレンジ2023 Meet UP!!!!」にて紹介

Transcript

1. ナレッジグラフ推論チャレンジ2023 〜⽣成AI時代のナレッジグラフ構築技術〜 の紹介 登壇者︓江上周作 (産総研) 運営︓⼈⼯知能学会SWO研究会・企画委員 (古崎晃司，川村隆浩，江上周作，鵜飼孝典，松下京群)
2. これまでのナレッジグラフ推論チャレンジ • ナレッジグラフ推論チャレンジ（2018〜） • シャーロック・ホームズのような“推理”（推論）ができるAIシステムの開 発を⽬指した技術コンテスト • チャレンジのねらい • 説明可能性（解釈可能性）を有するAI技術に関する最新技術の促進・共有 と，その分析・評価，体系化を⾏う． • チャレンジの概要 2 ホームズ の推理小説 ナレッジグラフ（知識グラフ） としてデータ化 2023/8/29 さまざまな知識/手法を用いて 事件の真相を推理し，理由を 説明するAIシステムの開発 捜査 手法 動機 DB …. 犯人はXX！ なぜなら… 動機は… トリックは…
3. これまでのナレッジグラフ推論チャレンジ • 第1回ナレッジグラフ推論チャレンジ2018 • https://challenge.knowledge-graph.jp/2018/ • 第2回ナレッジグラフ推論チャレンジ2019 • https://challenge.knowledge-graph.jp/2019/ • 第3回ナレッジグラフ推論チャレンジ2020 • https://challenge.knowledge-graph.jp/2020/ • 第1回学⽣向け︕ナレッジグラフ推論チャレンジ2021 • https://challenge.knowledge-graph.jp/2021/ • 第1回ナレッジグラフ推論チャレンジ【実社会版】2022 • https://challenge.knowledge-graph.jp/2022/ • 国際ナレッジグラフ推論チャレンジ2023@IEEE ICSC2023 • https://ikgrc.org/2023/ 1⼩説 5⼩説 8⼩説 データ 洗練 ⾼齢者 の安全 国際化
4. 今年度の開催背景 • ChatGPTを始めとした⼤規模⾔語モデルを⽤いた⽣成AIの開発・利 ⽤は，知識⼯学，セマンティックWeb分野への応⽤においても⼤ きな可能性がある • 課題 • 正確性が保証されない • 誤った内容が出⼒される場合がある • 根拠となる情報（出典）が暗黙的である • どのような情報を基にして出⼒されたのかが分からない • 再現性が担保されない場合がある • Webサービスとして提供されているモデルを使⽤した場合には，毎回，同様の内容が ⽣成されるとは限らない • これらは，これまでのチャレンジにおいてナレッジグラフを⽤い た説明可能なAI技術の開発・共有に取り組んできた理由でもある
5. 開催内容 • ナレッジグラフ(KG)と⼤規模⾔語モデルの双⽅を⽤いたチャレンジ を実施 • 今年度は，上述の課題への対策と評価に関する知⾒をコミュニ ティで蓄積するために ⼤規模⾔語モデルを⽤いたナレッジグラフの構築 というタスクを課題として設定 ⽣成AI時代の新しいKG構築技術の開発を⽬指したチャレンジとして開催 https://challenge.knowledge-graph.jp/2023/
6. 応募要領 • チャレンジタスクの設定 • ⼤規模⾔語モデルを⽤いたナレッジグラフの構築 • 応募部⾨ • 推理⼩説部⾨ • ⼀般部⾨ • 応募締め切り • 2023年12⽉末
7. 応募部⾨︓推理⼩説部⾨ • タスク • これまでの推論チャレンジで構築・公開してきた「シャーロックホームズ の⼩説を対象としたKG」と同等のものを構築することをタスクとします． • 対象 • 公開済の8つの⼩説のKGのうち，⼀部の⼩説のKGのみを対象としても構い ません． • 公開済の8つの⼩説のKGを正解として評価を⾏うため，これら8つ以外の⼩ 説を対象としたものは，⼀般部⾨に応募してください． • 評価 • 後⽇，「審査基準」として公開します． 現時点では， • ナレッジグラフの形式的な⼀致による判定基準 • これまでの推論チャレンジのタスクにどの程度，利⽤できるか︖ • 応募者が独⾃に設ける基準 • などを総合的に判断することを検討検討
8. 応募部⾨︓⼀般部⾨ • タスク • 対象領域を問わない任意のKGを構築することをタスクとします • 対象 • グラフ構造で表された様々な知識を幅広く対象とします．例えば， • オントロジーやスキーマをもたない，インスタンスレベルのトリプルのみから成るKG • オントロジーとしてのクラス定義を中⼼としたもの • オントロジーやスキーマに基づいて構築された，詳細な定義を持つKG • 評価 • ⼿法の性能単体のみではなく， • 構築されたKGの品質 • 外部知識との接続性 • 再利⽤性 • など、リソースとしての評価を含めた総合評価とします． • WikidataやDBpedia等を対象とした既存ベンチマークも参考になると思われる
9. 勉強会資料の公開 • OpenAI APIを使った⾃然⾔語からのKG構築 • 第60回SWO研究会 企画セッションで発表 • https://github.com/KnowledgeGraphJapan/KGRC-ws- 2023/blob/main/swo60.pdf
10. 本活動は，JSPS科研費19H04168基盤研究(B)解釈可能なAIシステムの実現に向けたナレッジグラフに基づく推 論・推定技術の体系化，および⼈⼯知能学会研究会特別⽀援⾦の助成を受けたものです．また，国⽴研究開発法 ⼈新エネルギー・産業技術総合開発機構(NEDO)の委託業務(JPNP20006)の結果得られたものです． 詳細は「推論チャレンジ」で検索 https://challenge.knowledge-graph.jp/