世界一位の精度を獲得した意味に基づく映像検索技術

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

映像検索技術について、NIST主催映像解析ワークショップTRECVID2023の参加を通して取り組んだ技術研究の内容を紹介します。本技術はAIが人間のようにコンテンツの内容や意味を理解し、検索することを実現するものである。ここでは検索クエリ文と映像コンテンツの対応関係について、言語と映像の意味の概念を深層学習によりAIがモデル化し、意味に基づく検索を実現している。本セッションではこの技術の内容と、研究開発に至る背景やR&Dのチームビルディングやマネジメントについて紹介します。

■関連リンク
・米国国立標準技術研究所の「TRECVID 2022」の映像検索部門で世界第1位を獲得
https://www.softbank.jp/corp/news/press/sbkk/2022/20221128_01/

■作成者
堀 隆之（ほり たかゆき）
ソフトバンク株式会社
テクノロジーユニット サービス企画技術本部
テクニカルマイスター

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

Transcript

1. ιϑτόϯΫגࣜձࣾ
   ງ
   ོ೭ 4PGU#BOL
   5FDI
   /JHIU
   'FT
   
2. ιϑτόϯΫגࣜձࣾ
   ςΫϊϩδʔϢχοτ
   αʔϏεاըٕज़ຊ෦
   "*
   "SDIJUFDU෦
   5FDIOJDBM
   .FJTUFS
   ιϑτόϯΫΞΧσϛΞظ
   ૣҴాେֶটᡈݚڀһ ࣗݾ঺հ ॴଐ
   
3. ө૾ݕࡧٕज़
   
4. 3%ϓϩδΣΫτ
5. 3%ϓϩδΣΫτ ʢۀ຿ͷ20%ʣ
6. 3%
   ύʔτφʔ ө૾ݕࡧ ө૾ੜ੒AI WiFiηϯγϯά
7. -"#ߏங
8. ө૾ݕࡧٕज़
   
9. /BUJPOBM
   *OTUJUVUF
   PG
   4UBOEBSET
   BOE
   5FDIOPMPHZ
10. إೝূίϯςετ
    
11. 53&$7*%
12.  
13. *5
    "*
    %9
14. ө૾ݕࡧٕज़
    4VSWFJMMBODF
    &WFOU
    %FUFDUJPO
    ΑΓ"DU&7
15. ө૾ݕࡧٕज़
    "E)PD
    7JEFP
    4FBSDI
    
16. ө૾ݕࡧٕज़
    "E)PD
    7JEFP
    4FBSDI෦໳
17. 53&$7*%
    "E)PD
    7JEFP
    4FBSDI
    ࠷ऴ݁Ռ
18. ϓϨεϦϦʔε
    
19. σϞ ө૾ݕࡧٕज़ IUUQ
20. ө૾ݕࡧٕज़
    .VMUJNPEBM
    -FBSOJOH ϖϯ ʲςΩετʳ ʲը૾ʳ
21. ө૾ݕࡧٕज़
    %BUB
    
    .PEFM ̐ԯͷը૾ͱςΩετͷϖΞ
22. ө૾ݕࡧٕज़
    a photo of a television studio. $-*1
    σʔλαϯϓϧ
23. ө૾ݕࡧٕज़
    a photo of a television studio. ը૾ͷߏਤɾߏ੒͔ΒγʔϯΛඳࣸ
24. ө૾ݕࡧٕज़
    ;FSP
    GFX
    TIPU
    -FBSOJOH
    $-*1ͷσʔλͰ֓೦ֶश
25. ө૾ݕࡧٕज़
    ઇࢁΛɾɾɾ
    εϊʔϞʔϏϧͰɾɾɾ
    ๷פ۩Λணͨɾɾɾ *NBHF
    &ODPEFS 5FYU
    &ODPEFS ಛ௃ϕΫτϧ ಛ௃ϕΫτϧ &ODPEFS
    ˍ
    %FDPEFS
26. ө૾ݕࡧٕज़
    ઇࢁΛɾɾɾ
    εϊʔϞʔϏϧͰɾɾɾ
    ๷פ۩Λணͨɾɾɾ *NBHF
    &ODPEFS 5FYU
    &ODPEFS ಛ௃ϕΫτϧ ಛ௃ϕΫτϧ ө૾ݕࡧγεςϜ &ODPEFS
    ˍ
    %FDPEFS
27. ө૾ݕࡧٕज़
    ੈք̍ҐʹͳΔͨΊʹ
28. ը૾ੜ੒"*
    %JGGVTJPO
    .PEFM An astronaut riding a horse in a photorealistic style
29. ը૾ੜ੒"*
    %JGGVTJPO
    .PEFM
30. ө૾ݕࡧٕज़
    %JGGVTJPO
    .PEFM
    ը૾ੜ੒"*ͷٕज़ΛݕࡧʹԠ༻
    ʲಛڐग़ئதʳ ઇࢁΛɾɾɾ
    εϊʔϞʔϏϧͰɾɾɾ
    ๷פ۩Λணͨɾɾɾ *NBHF
    &ODPEFS 5FYU
    &ODPEFS ಛ௃ϕΫτϧ ಛ௃ϕΫτϧ
31. ө૾ݕࡧٕज़
    53&$7*%
    
32. ࣄۀԽ΁ͷల๬ EBCʹͯలࣔ SoftBank Executive Briefing Center ʢ4݄ΑΓʣ
33. $IBU(15 ө૾ݕࡧٕज़
    কདྷ૾
    ݴޠ͔ΒϚϧνϝσΟΞ΁
34. *5
    "*
    %9 4/4 ө૾ίϯςϯπ "*
35. ৘ใֵ໋Ͱ
    ਓʑΛ޾ͤʹ