日本語テキストと音楽の対照学習の技術とその応用

LINEヤフー株式会社で開発中の音楽情報処理技術について紹介します。弊社では、動画や音楽を扱うサービスを提供しており、サービスの改善に向けてマルチモーダル技術の研究を行なっています。本発表では、その中でも、日本語テキストと音楽の対照学習とその応用に焦点を当てて紹介します。

Transcript

1. ˜
   -:
   $PSQPSBUJPO 1VCMJD -*/&Ϡϑʔגࣜձࣾ .VMUJNPEBM
   "*
   EJWJTJPO ࿇࣮୓໵ ೔ຊޠςΩετͱԻָͷରরֶशͷ ٕज़ͱͦͷԠ༻
2. ˜
   -:
   $PSQPSBUJPO 1VCMJD ུྺ • 
   ૣҴాେֶ৘ใ௨৴ֶՊ খྛɾখ઒ݚڀࣨ • ਂ૚ֶशΛ༻͍ͨԻ੠ڧௐ • 
   ౦ژେֶ৘ใཧ޻ֶܥݚڀՊ Ԑ౉ɾখࢁݚڀࣨ • ਂ૚ֶश౷ܭత৴߸ॲཧʹجͮ͘Իݯ෼཭ • 
   -*/&גࣜձࣾ • 
   -*/&Ϡϑʔגࣜձࣾ • ςΩετԻ੠߹੒ • ςΩετͱԻָͷରরֶश • ର࿩ܕϓϨΠϦετੜ੒ ޷͖ͳ΋ͷ • ϚʔμʔϛεςϦʔɼਪཧখઆ  ࿇࣮ ୓໵ 5BLVZB
   )BTVNJ ͜ͷลΓͷ࿩Λ͠·͢ (JU)VC
   !ULZ
3. ˜
   -:
   $PSQPSBUJPO 1VCMJD Իָɼಈըɼ޿ࠂσʔλΛϚϧνϞʔμϧج൫ϞσϧͰղੳ • ॴଐνʔϜͰ͸ɼಈըσʔλʹର͢Δ෼ੳٕज़Λத৺ʹݚڀ։ൃ • Իָ৘ใॲཧͷݚڀ։ൃ΋࣮ࢪதɽϞσϧͷެ։ͳͲ΋ ࠓճͷ5BML  ೔ຊޠςΩετͱԻָΛ༻͍ͨج൫Ϟσϧ։ൃɿ೔ຊޠςΩετͱԻָͷରরֶश  ج൫Ϟσϧͱ--.Λ༻͍ͨԠ༻ɿର࿩ܕϓϨΠϦετੜ੒  -*/&Ϡϑʔʹ͓͚ΔϚϧνϞʔμϧٕज़ͷ։ൃ ָۂݕࡧ ಈըݕࡧ ݕࡧ ޿ࠂɾ6($ಈը ੍࡞ࢧԉ ੜ੒ λά ෇༩ ಈըγʔϯ ෼ੳɾݕग़ ෼ੳ ਪન ߦಈ༧ଌ -*/&
   700. -*/&
   .64*$ :BIPPϦΞϧλΠϜݕࡧ :BIPP޿ࠂ
4. ˜
   -:
   $PSQPSBUJPO 1VCMJD ΫϩεϞʔμϧରরֶशɿ$-*1
   <3BEGPSE
   >
   $-"1
   <&MJ[BMEF
   ><8V
   > • ςΩετͱը૾ʢ$-*1ʣʗςΩετͱԻʢ$-"1ʣͳͲͰɼڞ௨ͷදݱۭؒΛ֫ಘ͢ΔͨΊͷٕज़ • ؔ܎͋ΔςΩετͱը૾ʗςΩετͱԻͷϖΞ͸ۙ͘ɼؔ܎ͳ͍ϖΞ͸ԕ͘ʹ഑ஔ͞ΕΔΑ͏ʹ ςΩετͱԻָͷରরֶशɿ.V-BO <)VBOH
   > • ςΩετͱԻָΛڞ௨ͷۭؒʹຒΊࠐΉϞσϧ • Ԡ༻ྫɿςΩετʹΑΔԻڹݕࡧ • lSPNBOUJD
   BOE
   NFMMPX
   KB[[TUZMF QJFDF
   GFBUVSJOH
   QJBOPzͰݕࡧ ˠ ςΩετΫΤϦͷ಺༰ʹԊͬͨۂ͕ ώοτ ςΩετͱԻָͷରরֶश ָۂ ָۂ ʜ ςΩετ ςΩετ ʜ     ָۂͱςΩετ ྨࣅ౓ߴ ָۂͱ ςΩετ ྨࣅ౓௿ Իָ Τϯίʔμ ςΩετ Τϯίʔμ
5. ˜
   -:
   $PSQPSBUJPO 1VCMJD ೔ຊޠʹରԠͨ͠ج൫Ϟσϧʢ.V-BOʣ։ൃͷͨΊͷσʔλͷऩू • ͜Ε·Ͱ঺հͨ͠.V-BO͸ओʹӳޠͷΈ͕ର৅ ˠ ೔ຊޠͷςΩετʹରԠ͢ΔͨΊʹɼ8FC্͔Β೔ຊͷԻָΫϦοϓͱίϝϯτΛऩू • ԻָʹରԠ͢ΔɼΑΓߴ඼࣭ͳ೔ຊޠςΩετΛΫϥ΢υιʔγϯάͰऩू ࣮ݧ • ೔ຊޠͰͷԻڹݕࡧ͕Մೳ͔Λݕূ • ςΩετʹΑΔԻڹݕࡧͷ݁ՌʢධՁର৅ɿۂʣ  ೔ຊޠςΩετͱԻָΛ༻͍ͨج൫Ϟσϧ։ൃ ख๏ ߴ඼࣭ςΩετ 3! 3!ˢ 3!ˢ N"1!ˢ NFE3ˣ ϥϯμϜ      ։ൃͨ͠ .V-BO      ˓      ϞσϧΛެ։த
6. ˜
   -:
   $PSQPSBUJPO 1VCMJD Իָɼಈըɼ޿ࠂσʔλΛϚϧνϞʔμϧج൫ϞσϧͰղੳ • ॴଐνʔϜͰ͸ɼಈըσʔλʹର͢Δ෼ੳٕज़Λத৺ʹݚڀ։ൃ • Իָ৘ใॲཧͷݚڀ։ൃ΋࣮ࢪதɽϞσϧͷެ։ͳͲ΋ ࠓճͷ5BML  ೔ຊޠςΩετͱԻָΛ༻͍ͨج൫Ϟσϧ։ൃɿ೔ຊޠςΩετͱԻָͷରরֶश  ج൫Ϟσϧͱ--.Λ༻͍ͨԠ༻ɿର࿩ܕϓϨΠϦετੜ੒  -*/&Ϡϑʔʹ͓͚ΔϚϧνϞʔμϧٕज़ͷ։ൃ ָۂݕࡧ ಈըݕࡧ ݕࡧ ޿ࠂɾ6($ಈը ੍࡞ࢧԉ ੜ੒ λά ෇༩ ಈըγʔϯ ෼ੳɾݕग़ ෼ੳ ਪન ߦಈ༧ଌ -*/&
   700. -*/&
   .64*$ :BIPPϦΞϧλΠϜݕࡧ :BIPP޿ࠂ
7. ˜
   -:
   $PSQPSBUJPO 1VCMJD .V-BO୯ମͰ͸ෆՄೳͳ͜ͱ • Ϣʔβͷҙਤͷਂ۷Γ • ʮམͪࠐΜͰ͍Δͱ͖ʹฉ͖͍ͨۂʯˠ ໌Δ͍ۂΛௌ͖͍ͨʁ҉͍ۂΛௌ͖͍ͨʁ • ԻڹҎ֎ͷ৘ใʹج͍ͮͨݕࡧ • ʮʓʓʢָۂλΠτϧʣʯ ˠ ϝλσʔλΛΩʔϫʔυݕࡧ͢Ε͹े෼ • ʮΞχϝ˚˚ͷΦʔϓχϯάʯʮࠓɼྲྀߦ͍ͯ͠Δۂʯˠ 8FCݕࡧ͕ඞཁ --.΍ΤʔδΣϯτͷొ৔ʹΑΓɼ.V-BO୯ମͰ͸ෆՄೳͳݕࡧ΋࣮ݱՄೳʹ • Ϣʔβͷҙਤͷਂ۷Γ ˠ ର࿩తʹϢʔβͷᅂ޷Λ୳ࡧ • ԻڹҎ֎ͷ৘ใʹج͍ͮͨݕࡧ ˠ 5PPM
   DBMMJOH΍.$1ͷར༻ʹΑΔɼ֎෦৘ใͷར༻  .V-BOͷ࿮૊ΈͷݶքͱϓϨΠϦετੜ੒ ର࿩ܕϓϨΠϦετੜ੒ΤʔδΣϯτͷ։ൃ
8. ˜
   -:
   $PSQPSBUJPO 1VCMJD 3F"DU <:BP
   > • --.ʹΑΔࢥߟʢSFBTPOJOHʣͱ࣮ߦʢBDUJPOʣΛ૊Έ߹Θͤͨ--.ΤʔδΣϯτͷख๏ • --.ͷ஌ࣝͱ֎෦πʔϧΛ༻͍ͨλεΫͷ࣮ߦ͕ΑΓݱ࣮తʹ 3F"DUͷର࿩ܕϓϨΠϦετੜ੒΁ͷར༻  ର࿩ܕϓϨΠϦετੜ੒ͷ࢓૊Έ - - . Ωʔϫʔυݕࡧ "1* Իڹݕࡧ"1* "1* λΠτϧɼΞʔςΟετ ؔ࿈৘ใ .V-BOͰநग़ͨ͠ ԻڹͷຒΊࠐΈ σʔλϕʔε ΫΤϦ ϓϨΠϦετ "1*࣮ߦ ࣮ߦ݁Ռ ݕࡧ ݕࡧ ָۂ ָۂ 8FCݕࡧ"1*
9. ˜
   -:
   $PSQPSBUJPO 1VCMJD  ର࿩ܕϓϨΠϦετੜ੒ͷྫʢ̍ʣ ೥ͷελʔτʹͽͬͨΓͷಠ૑తͳϓϨΠϦετ 0,ɼͦΕͰਐΊͯ 3FBTPOJOH
   ೥͸ޕ೥Ͱ͢ɽഅ͕ᰜ૘ͱ૸Δ༷ࢠͱඥ෇͚ͯɼ ৽೥͔ΒݩؾΛग़ͨ͢ΊͷϓϨΠϦετͱͯ͠ఏҊͰ͖·͢ɽ 3FBTPOJOH
   ೥ʹͪͳΜͰɼࠓ೥ͷׯࢧΛ֬ೝ͠·͢ɽ "DUJPO
   8FCݕࡧʮ೥ ׯࢧʯ 0CTFSWBUJPO
   ʮޕ೥ʯ ೥ͷׯࢧʹͪͳΜͰʮ෩Λ੾ͬͯۦ͚ൈ͚Δ
   ʔ
   ޕ೥ϓϨΠϦετʯ ΛఏҊ͠·͢ɽ͜ͷςʔϚͰਐΊ·͔͢ʁ 3FBTPOJOH
   അΛΠϝʔδͨ࣬͠૸ײ͋;ΕΔۂΛத৺ʹݕࡧ͠·͢ɽՎ ࢺ΋ؚΊͯʮ૸ΔʯʮSVOʯͳͲͰ΋ݕࡧ͠·͢ɽ "DUJPO
   Ωʔϫʔυݕࡧʮഅʯʮ͏·ʯʮ૸ΔʯʮSVOʯ 0CTFSWBUJPO
   ʮ͏·ͽΐ͍఻આʯʮΩϡʔʹετοϓͰ͖·ͤΜʯʜ Ωʔϫʔυݕࡧ 8FCݕࡧ ΤʔδΣϯτ Ϣʔβ
10. ˜
    -:
    $PSQPSBUJPO 1VCMJD  ର࿩ܕϓϨΠϦετੜ੒ͷྫʢ̎ʣ ͜͜೥Ҏ಺ͷָۂ͚ͩʹߜ͍ͬͯͩ͘͞ɽ 3FBTPOJOH
    അΛΠϝʔδͨ࣬͠૸ײ͋;ΕΔۂΛத৺ʹݕࡧ͠·͢ɽՎ ࢺ΋ؚΊͯʮ૸ΔʯʮSVOʯͳͲͰ΋ݕࡧ͠·͢ɽ "DUJPO
    Ωʔϫʔυݕࡧʮഅʯʮ͏·ʯʮ૸ΔʯʮSVOʯ 0CTFSWBUJPO
    ʮ͏·ͽΐ͍఻આʯʮΩϡʔʹετοϓͰ͖·ͤΜʯʜ 3FBTPOJOH
    ࣍ʹɼ࣬૸ײ͋;ΕΔۂ͕ͳ͍͔ݕࡧ͠·͢ɽ "DUJPO
    Իڹݕࡧʮ࣬૸ײʯʮΞοϓςϯϙʯ 0CTFSWBUJPO
    ʮ࢒ڹࢄՎʯʮ྽ंઓୂτοΩϡ΢δϟʔʯʜ ʮ෩Λ੾ͬͯۦ͚ൈ͚Δ
    ʔ
    ޕ೥ϓϨΠϦετʯΛ࡞੒͠·ͨ͠ɽ 
    ࢒ڹࢄՎ 
    ͏·ͽΐ͍఻આ 
    ྽ंઓୂτοΩϡ΢δϟʔ ʜ 3FBTPOJOH
    ೥ҎલʹϦϦʔε͞ΕָͨۂΛ࡟আ͠·͢ɽ ʜ Ωʔϫʔυݕࡧ Իڹݕࡧ ΤʔδΣϯτ Ϣʔβ
11. ˜
    -:
    $PSQPSBUJPO 1VCMJD -*/&ϠϑʔͷϚϧνϞʔμϧٕज़ʹؔ͢ΔऔΓ૊Έ • Իָɼಈըɼ޿ࠂσʔλΛϚϧνϞʔμϧج൫ϞσϧͰղੳ ೔ຊޠ൛ͷςΩετԻָج൫Ϟσϧ • ςΩετʹΑΔԻڹݕࡧ΍θϩγϣοτԻָ෼ྨʹԠ༻Մೳ • .V-BOͷ։ൃɼߴ඼࣭ͳ೔ຊޠςΩετσʔλʹΑΔੑೳվળ • )VHHJOH
    'BDFͰϞσϧΛެ։த ର࿩ܕϓϨΠϦετੜ੒ • --.ͷొ৔ʹΑΓɼϢʔβͷᅂ޷ͷਪఆͱ֎෦৘ใͷར༻͕Մೳʹ • .V-BOʹΑΔԻڹݕࡧͱ߹Θͤͯɼଟ༷ͳϓϨΠϦετͷੜ੒͕Մೳʹ  ·ͱΊ Ϟσϧެ։த