Share
Embed
MioGatto による数式グラウンディング データセットの構築 / nlp2022
計算機を用いた科学技術文書の読解には,数式内の1つ1つの記号の意味をグラウンディングできることが重要である.現実の科学技術文書においては数式内の記号の意味は必ずしも一定ではなく,同じ 記号が複数の意味で用いられるため,グラウンディングの際には記号間の共参照関係も明らかにする必要がある.本研究では arXiv.org から選んだ15本の科学論文を対象に,数式内の記号の共参照関係を明示的にアノテーションしたコーパスの構築を行った.その結果,数式内の記号の曖昧性は狭い範囲に絞っても存在するほど複雑だが,共参照関係は高いアノテータ間一致率を保ちながらラベル付け可能であることが示された.
Watson
March 15, 2022
Transcript
15 slides
-
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங ࣜάϥϯσΟϯά [Asakura+ 2020] 1. ֶ֓೦Λࢦ͢τʔΫϯͷάϧʔϓΛݟ͚ͭΔ άϧʔϓͷྫ x, α,
cos, ∑ , =, × 2. ֤άϧʔϓʹͦͷࢦֶࣔ֓͢͠೦Λඥ͚Δ ࠓճͷߩݙ ʜ ࣗಈԽʹ͚ͯσʔληοτΛߏங ▶ จ 15 ຊͷܭ 12,352 ࣝผࢠʹखಈΞϊςʔγϣϯ ▶ จॻʹ͓͚Δࣝผࢠείʔϓͷ༷૬ͳͲ͕ݟ͖͑ͯͨ 2 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங ࣜάϥϯσΟϯά [Asakura+ 2020] ˺ΞϥΠϝϯτʴʓʓʓʓʓ આ໌ͷΞϥΠϝϯτ ▶ ֤τʔΫϯʹઆ໌ (description)
Λ༩͢ΔλεΫ ▶ ෳͷઌߦݚڀ͋Γ [Aizawa+ 2013, Alexeeva+ 2020, etc.] ˠ΄ͱΜͲ͕τʔΫϯͷҙຯจॻͰҰఆͱԾఆ 3 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங ࣜάϥϯσΟϯά [Asakura+ 2020] ˺ΞϥΠϝϯτʴڞࢀরղੳ ࣗવݴޠͷڞࢀর ౧ଠ౧͔Βੜ·Εͨɽ ൴َୀ࣏ʹग़͔͚ͨɽ ڞࢀর
ࣜʹ͓͚Δڞࢀর ػցֶशͷΞϧΰϦζϜʹΑͬͯಘΒΕΔͷɹ ؔ ɹ y(x) Ͱ͋Δɽ͜ ͷؔʹɼ৽ͨʹࣈͷը૾ x Λೖྗ͢ΔͱɼඪϕΫτϧͱූ߸Խ ͷํ͕͍͠ɹ ग़ྗϕΫτϧ ɹ y ͕ग़ྗ͞ΕΔɽɹ ؔ ɹ y(x) ͷৄࡉͳܗ ܇࿅σʔλʹج͍ͮͯٻΊΒΕΔɽ (PRML, p. 2) 4 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங ࣜάϥϯσΟϯάͷඞཁੑͱ͠͞ ▶ ࣜʹࣗવݴޠͱࣅͨᐆດੑ͋Γ [Kohlhase+, 2014] ▶ ه߸ʢτʔΫϯʣͷিಥ ▶
ࣜͷߏจతᐆດੑ ྫ f (a + b) ▶ લޙͷςΩετͳ͠ʹղऍͰ͖ͳ͍ ▶ ৗࣝυϝΠϯࣝͷඞཁੑ ྫ π: ԁप PRML ୈ 1 ষʹ͓͚ΔτʔΫϯ y ͷଟٛੑ ຊจͷςΩετஅย y ͷҙຯ ...ಘΒΕΔͷؔ y(x) Ͱ͋Δ... ը૾Λೖྗͱ͢Δؔ ...ग़ྗϕΫτϧ y ͕ग़ྗ͞ΕΔ... ؔ y(x) ͷग़ྗϕΫτϧ 2 ͭͷ֬มϕΫτϧ x ͱ y ʹ... ֬มϕΫτϧ ...ಉ࣌ p(x,y) Λߟ͑Α͏ɽ x ʹରԠ͢Δ 5 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங άϥϯσΟϯάใݯ จॻ֎ͷࣜάϥϯσΟϯάͷࠜڌͱͳΔͷ จॻ पลςΩετɼࣜ ྫ ಉ໊֨ࢺɼdef = จॻ֎
ৗࣝɼυϝΠϯࣝ ྫ Wikidata Ξϊςʔγϣϯใ ʜ ࣗಈԽʹ͚ͯඞཁͳใ ▶ ֶ֓೦ ʜ άϥϯσΟϯάͷ݁Ռɽਖ਼ղϥϕϧ ▶ ใݯ ʜ ͜ͷࣗಈநग़ࣗಈԽͷୈҰา 6 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங ΞϊςʔγϣϯπʔϧMioGatto [Asakura+ 2021] Math Identifier-Oriented Grounding Annotation Tool
▶ ࣜάϥϯσΟϯάσʔλߏஙͷͨΊͷಠࣗπʔϧ ᵋ Web ϕʔε GUIʢPython + TypeScript ࣮ʣ ▶ ΦʔϓϯιʔεʢMIT ϥΠηϯεʣͰ։ൃதʂ https://github.com/wtsnjp/MioGatto 7 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங Ξϊςʔγϣϯख๏ ֶੜΞϊςʔλ Twitter Ͱͷ 10 ໊ΛืूɽँۚΛࢧͬͯՔಇ ▶ ͞·͟·ͳ
NLP × 4ɼཧཧֶ × 2ɼֶ × 1ɼཧ × 1ɼఱจ × 1 ▶ ͞·͟·ͳֶੜ ߴߍੜ × 1ɼֶ෦ੜ × 1ɼमֶ࢜ੜ × 5ɼതֶ࢜ੜ × 3 https://wtsnjp.com/annotator.html ํ๏ ▶ Ξϊςʔγϣϯରࣜࣝผࢠ ྫ x, θ, sin ▶ จͷબΞϊςʔλͷࡋྔʢҰ෦ࢦఆʣ ▶ ΞϊςʔγϣϯΨΠυϥΠϯΛ༻ҙ https://github.com/wtsnjp/MioGatto/wiki/Annotator’s-Guide 8 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங Ξϊςʔγϣϯ݁Ռ ࣜάϥϯσΟϯάσʔληοτ จ ୯ޠ छྨ ग़ݱ ࣙॻ߲
ฏۉީิ ใݯ 1 ML 10976 40 937 104 6.4 232 2 NLP 4267 42 266 73 2.6 30 3 NLP 3563 38 433 79 2.5 34 4 ཧֶ 3567 46 1648 64 1.9 30 5 ֶ 13154 141 4629 424 5.2 180 6 NLP 2881 25 162 30 2.7 12 7 NLP 5543 31 203 47 2.6 36 8 NLP 4613 23 217 27 1.1 28 9 NLP 6255 34 510 74 2.7 27 10 NLP 5415 73 1175 167 3.3 60 11 NLP 4451 33 237 61 2.9 34 12 NLP 4261 31 186 39 1.7 25 13 NLP 2257 23 124 27 1.2 18 14 ఱจֶ 10032 59 1064 129 4.2 97 15 ఱจֶ 4863 41 561 73 2.3 95 ߹ܭ — 86098 680 12352 1418 — 938 https://sigmathling.kwarc.info/resources/grounding-dataset/ 9 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங σʔλੳᶃ ΞϊςʔλؒҰக ใݯͷͱΞϊςʔλؒҰகʢରΞϊςʔλ Aʣ Ξϊςʔλ A B C
D E Ұக (%) — 96.5 87.4 92.1 84.2 κ ˞ — 0.94 0.80 0.87 0.75 ใݯͷ 232 — — 249 257 ᵋ ॏෳ (%) — — — 80.3 93.4 ˞ࣝผࢠ͝ͱʹܭࢉͨ͠ κ ͷՃॏฏۉʢࢀߟʣ ▶ จ 1 ʹ 5 ໊͕ಠཱʹΞϊςʔγϣϯ ▶ ֶ֓೦ɿશһ ▶ ใݯɿΞϊςʔλ A, D, E ͷΈ ▶ ֶ֓೦ͷΞϊςʔλؒҰகɾκ ेʹߴ͍ ▶ ใݯͱೝࣝ͞ΕΔεύϯҐஔΑ͘Ұக 10 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங σʔλੳᶄ είʔϓସ จ 1 𝐷 E 𝐿 𝑁
𝑇 maximize 𝑝 𝑞 𝑡 t 𝑤 𝑥 x 𝑧 z 𝜃 𝜙 D §1 §2 §3 §4 §5 §6 §7 จ 15 𝐸 HS IS LS 𝑁 𝑅 𝑆 𝑇 𝑉 𝑊 𝑗 𝑘 𝑙 H 𝒓 §1 §2 §3 §4 §5 είʔϓସ ʜ จॻͰࣝผࢠͷҙຯ͕มΘΔ ▶ είʔϓସͷ 89.5%ಉҰͷηΫγϣϯͰൃੜ ▶ ҰΓସͬͨޙʹɼҎલͷείʔϓʹΔ͜ͱ 11 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங σʔλੳᶅ άϥϯσΟϯάใݯ ใݯͷྫ ͜ͷؔʹɼ৽ͨʹࣈͷը૾ x Λೖྗ͢Δͱɼ ඪϕΫτϧͱූ ߸Խͷํ͕͍͠ग़ྗϕΫτϧ
y ͕ग़ྗ͞ΕΔɽ (PRML, p. 2) ऩूͨ͠ 938 ใݯͷੳ ▶ 76.5%͕ࣝผࢠΑΓઌߦ ▶ ࣝผࢠͱใݯͷڑ ฏۉ 14.7 ୯ޠ ᵋ தԝ 0ʙ4 ୯ޠ యܕతʹલͷಉ໊֨ࢺ ใݯͷҐஔ 718 220 0 200 400 600 800 前 後 ࣝผࢠͱใݯͷڑ 距離(単語数) 0 100 200 300 400 500 0 1 2 <10 <100 >=100 12 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங ࠓޙͷ՝ Ξϊςʔγϣϯίετͷݮ ▶ ಉ͡จʹෳਓͰΞϊςʔγϣϯ͢Δͷେม ˠ શରจʹ͍ͭͯҰகΛܭࢉͰ͖͍ͯͳ͍ ▶ ؒͷൺֱΛߦ͏ʹ͕Γͳ͍
▶ ֶཧͰࣜͷ͕ଟ͗͢ ˠ ͯ͢खಈͰඇݱ࣮తɽࣙॻΛ༏ઌ ▶ ཧֶͷจಛʹ Notation ͕ಛघ ˠ ࣈԋࢉࢠʹᐆດੑɽࣝผࢠ͚ͩͰෆे ະղܾͷϦαʔνɾΫΤενϣϯ ▶ ஶऀΞϊςʔγϣϯͱಡऀΞϊςʔγϣϯͷൺֱ ▶ ֎ͷਓͰάϥϯσΟϯάਖ਼͘͠Ͱ͖Δʁ 13 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங άϥϯσΟϯάࣗಈԽͷํ 3 εςοϓͰࣗಈԽ 1. จॻάϥϯσΟϯάใݯͷಛఆɾநग़ ᵋ ύλʔϯϚονʴࢺղʢಉ໊֨ࢺʣར༻ 2.
จॻใݯͷΫϥελϦϯάʹΑΔʮࣙॻʯੜ ᵋ Short Text Clustering ख๏ [Jiaming+, 2017] ͷద༻ 3. จॻதͷ֤ࣜτʔΫϯͱʮࣙॻʯ߲ͷؔ࿈͚ ᵋ ύλʔϯϚονʴࢺղʴྨϞσϧ ใݯͷநग़ ʮࣙॻʯੜ ؔ࿈͚ ෮ɾվળ ఏҊσʔληοτ ֦ॆ ධՁ 14 / 15 -
MioGatto ʹΑΔࣜάϥϯσΟϯάσʔληοτͷߏங ࢀߟจݙ ▶ Akiko Aizawa, et al. “NTCIR-10 Math
Pilot Task Overview.” In Proceedings of NTCIR-10 (2013). ▶ Maria Alexeeva, et al. “MathAlign: Linking Formula Identifiers to their Contextual Natural Language Descriptions”. Proceedings of LREC 2020. ▶ Takuto Asakura, et al. “Towards Grounding of Formulae.”. In Proceedings of SDP 2020. ▶ Takuto Asakura, et al. “MioGatto: A Math Identifier-oriented Grounding Annotation Tool.” In 13th MathUI Workshop at 14th Conference on Intelligent Computer Mathematics (MathUI 2021). ▶ Christopher M Bishop. Pattern Recognition and Machine Learning (2006). ▶ Xu, Jiaming, et al. “Self-taught convolutional neural networks for short text clustering.” Neural Networks 88 (2017). ▶ Michael Kohlhase and Mihnea Iancu. “Co-representing structure and meaning of mathematical documents” (2014). 15 / 15