論文読み会 NeurIPS2024 | UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction

論文読み会の資料です．

(A slide for the paper-reading activity at my company, written in Japanese.)

Transcript

1. 2025-03-25 UrbanKGent: A Unified Large Language Model Agent Framework for Urban Knowledge Graph Construction ಡΉਓ: @cocomoff
2. 背景 論文はConstructionというタイトル 中身ではRTEとKGCというタスク (後述) 他にもいろいろタスクはある
3. 背景 •知識グラフ •エンティティ (ノード) とリレーション (エッジ) の集まり •検索・推薦・推論などのタスクで広く使われている •時空間・都市空間の中でも注目されはじめた 😀 •[余談] NeurIPS2024のGeoAI論文まとめ •https://github.com/rstanjieyi/GeoAI-in-NeurIPS-2024 •前提: いろんなデータからグラフを作成する必要がある •エンティティ/リレーションの抽出 •手作業やルールベースの処理が必要 🤮 •LLMを使いたいが、自然言語と都市データにはギャップがある [右上] Y. Liu et al., Urban Knowledge Graph Aided Mobile User Pro fi ling, ACM Trans. on KDD, 2023 [右下] https://fcl.ethz.ch/research/research-projects/cities-knowledge-graph.html
4. 論文のサマリー •できるだけ人手を削減したいという目的のため、 UrbanKGentというLLMエージェントフレームワークを提案 •トリプル 抽出プロンプト •地理空間情報を活用したKGCプロンプト •ツールキット説明・呼び出しプロンプト •推論精密化プロンプト •Huggingface/UrbanKGent-7/8/13B •Llama2, Llama3 ベース •[補足] 他論文の移動データ向けのモデルも このあたりをベースにしていた •評価 (Urban KGCタスク) •ベースラインを上回る性能 •より少ないデータ量 •リッチなUrbanKGを構築できる (h, r, t) 雑な理解では「プロンプト芸+実行環境」ぐらいの意味
5. 目次 •背景・論文のサマリー •問題意識 •データ、タスク定義、LLMの能力 •手法 •エージェント構築 •実験 •数値評価 •プロンプトなどを見る (おまけ)
6. 問題意識 •自然言語情報と都市情報のギャップ •コロンビア大学を説明する文 •空間情報 (in Manhattan) •時間情報 (established in 1754) •機能情報 (institution of higher education) •LLMだけでも処理できるかもしれないが 明示的に情報を管理しておいたほうが便利 😀 •LLMは数値情報の扱いに（現時点では）苦労するため、 空間情報が特に難しい •距離、近接関係、… •既存のツールを、 使えば良さそう 😀 •高精度コーパスがあれば 良いが、人手が無限にかかる 🤮 •LLM agentでポン！したい
7. 元になるデータ •過去の研究で高品質UrbanKGデータを作るために 使われてきたデータ（NYC/Chicago)を用いる •AOI: 行政区画のこと •名前と矩形 •Road network: そのまま (openstreetmapから作成) •名前と道路ジオメトリ •POI: 何かしらの地点のこと •名前と座標とPOIタイプと説明 •Review: Google placesなどについた口コミのこと •名前と座標とテキスト •Web page: 普通のテキストコーパス •検索エンジンの上位10ページのテキスト （ある都市に対する長い説明文） [右上] 前スライド Fig.2より [右下] Ning et al., UUKG: Uni fi ed Urban Knowledge Graph Dataset for Urban Spatiotemporal Prediction, NeuriPS2023 [Datasets and Benchmarks]
8. 解きたいタスク •(都市)知識グラフ • : エンティティの集合 • : リレーションの集合 • : ファクトの集合 •観測している事実をタプル で表す •高品質な をつくりたい (本論文の目的) •タスクの例 •RTE: 自体をデータから抽出するタスク •“Columbia University is a private Ivy league research university in New York City” → <Columbia University, Locate-In, New York City> • KGC: に対して を当てるタスク •“Columbia University”, “Empire State Building” → <Columbia University, disconnected, Empire State Building> G = (E, R, F) E R F (h, r, t) ∈ E × R × E G (h, r, t) (h,?, t) ? [右上] 前スライド Fig.2より
9. そもそもLLMはこのタスクが解けているのか? •GPT-4の出力と人の出力を比較した [右上] 前スライド Fig.2より 最初の例の 3つの難しさ
10. 目次 •背景・論文のサマリー •問題意識 •データ、タスク定義、LLMの能力 •手法 •エージェント構築 •実験 •数値評価 •プロンプトなどを見る (おまけ)
11. 作り方 解くタスク RTE/KGCのためのinstruction tuning用のデータ作成 Llama-2, LLama-3 LLM agentがアクセスできる 既存のツール いい感じになるまでLLMに任せる UrbanKGent 形式的には両タスクをいい感じに解けるように学習
12. 参考: Self-refine (これをTrajectoryでやる) https://selfre fi ne.info/
13. 目次 •背景・論文のサマリー •問題意識 •データ、タスク定義、LLMの能力 •手法 •エージェント構築 •実験 •数値評価 •プロンプトなどを見る (おまけ)
14. 構築したUrbanKGC •ニューヨーク(NYC)とシカゴ(CHI) •これはRTEの話 •KGCのタスクは別 (省略) 指示作成のための 小規模データ UrbanKGentを 評価する中規模データ 後段タスク用の 大規模UrbanKG こういうデータらしいです
15. 実験 •いろいろな手法と比較 •End-to-end models •LLMs-based zero-shot reasoning •LLMs-based In-context learning •Vanilla fi ne-tuning •UrbanKGent inference (提案手法) •いろいろなモデルと比較 •Vicuna, Alpaca, Mistrial, Llama-2/3, GPT-3.5/4 •8x NVIDIA A800 GPUs, gpt-3.5-turbo-16k-0613, gpt-4-0613 •評価 •二値評価 (true/false) •普通のF1などは使えない ※KGのopen world setting •人のアノテーションとの比較
16. アブレーション •7Bモデルで、人と同じぐらいの精度は出ている ♠このあたり (template) *このあたり (multi-view) ‡このあたり (tools) †このあたり (反復精密化)
17. 図など •LLMの出力と人の評価 •GPTScoreの評価方法とSpearmanの相関係数 •相関係数どこで計算してるんだろう 🤔
18. 目次 •背景・論文のサマリー・LLM Agent •問題意識 •データ、タスク定義、LLMの能力 •手法 •エージェント構築 •実験 •数値評価 •プロンプトなどを見る (おまけ)
19. プロンプト: Zero-shot/ICL
20. プロンプト: UrbanKGent (1)
21. プロンプト: UrbanKGent (2)