Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストメディア特論 類似した「名前」の同一性の判定
Search
Lamron
October 01, 2023
Research
0
75
テキストメディア特論 類似した「名前」の同一性の判定
Lamron
October 01, 2023
Tweet
Share
More Decks by Lamron
See All by Lamron
テキストメディア特論 「会社名」の抽出
lamrongol
0
98
Blueskyでは何が話し合われているか。「情報技術は民主主義を生み、今は殺そうとしている」
lamrongol
0
6.7k
要約: Formal Approaches in Categorization: Chapter.5 Semantics without categorization
lamrongol
0
2.9k
Blueskyの「今」がわかる!Bot
lamrongol
0
1.7k
Other Decks in Research
See All in Research
CARMUI-NET:自動運転車遠隔監視のためのバーチャル都市プラットフォームにおける通信品質変動機能の開発と評価 / UBI85
yumulab
0
220
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
330
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
yumulab
1
330
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
6
970
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
150
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
130
Introduction of NII S. Koyama's Lab (AY2025)
skoyamalab
0
430
EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing
satai
3
250
線形判別分析のPU学習による朝日歌壇短歌の分析
masakat0
0
120
電力システム最適化入門
mickey_kubo
1
540
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
22
11k
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
770
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
The Power of CSS Pseudo Elements
geoffreycrofte
76
5.8k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
42
2.3k
What's in a price? How to price your products and services
michaelherold
245
12k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
750
A better future with KSS
kneath
239
17k
Making the Leap to Tech Lead
cromwellryan
133
9.3k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
How to train your dragon (web standard)
notwaldorf
92
6k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
25
2.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
Transcript
類似した「名前」の同一性判定 @lamrongol
共起単語からの推定 • 異なる分野の同名異人は共起する単語の違いに よって判別できる • 例 : 野球選手と音楽家なら、前者は野球に関連する単 語と共起し、後者は音楽に関する単語と共起する •
もし同じ分野で同名異人がいたら? • その場合、人間にとっても判別が難しいので、何らかの 識別記号がつくはず • 例 : もし「鈴木一朗」という野球選手が二人いたら、「鈴 木一朗(マリナーズ)」「鈴木一朗(巨人)」というように チーム名がつくかもしれない – 名前に隣接している単語ほど重みづけを大きくすれば上記例 などでは分類しやすくなる
データセット • 同一人物であることが分かっている文書群をどう やって集めるか • Wikipedia の「曖昧さ回避」のページを用いる
データセット • 同名でも「イチロー _(XXX) 」のように異なる人物に は異なる項目名が付けられるので、個別ページ以 外のページの文章も使用できる • 例 :
マリナーズのページ リンクから「イチロー」が野球選手の「イチロー」であるこ とがわかる
データセットの拡張 • Wikipedia を使用して得られた共起単語を元に、 他の構造化されてない文書に対して判定を行い、 それを新たな正解データとする • どの用法がよく使われているかを計算できる • 例えば「イチロー」なら、野球選手を指している場合が
圧倒的に多いという結果が出るはず • 文書が小さくて共起単語から推定できない場合も、 単純に頻度が高いものを推定として与えられる • 例 : 「イチローかっこいい」 → 野球選手
表記ゆれの問題 • 同一人物だが表記が何らかの理由で異なる場合 • 例 : 「鈴木一郎」「鈴木一朗」 • 変換ミスなどで起こる可能性がある誤表記と正しい 表記との距離を短く判定する編集距離を用いる
• 例 : 「沢」「澤」などの漢字をあらかじめ登録しておく、 読みが同じ漢字の置換は小さく見積もる、など • 編集距離が一定の閾値以下のものを「同一の可能 性がある」と判定 • 共起単語を用いて同一性の判定