Upgrade to Pro — share decks privately, control downloads, hide ads and more …

世界一位の精度を獲得した意味に基づく映像検索技術

 世界一位の精度を獲得した意味に基づく映像検索技術

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

映像検索技術について、NIST主催映像解析ワークショップTRECVID2023の参加を通して取り組んだ技術研究の内容を紹介します。本技術はAIが人間のようにコンテンツの内容や意味を理解し、検索することを実現するものである。ここでは検索クエリ文と映像コンテンツの対応関係について、言語と映像の意味の概念を深層学習によりAIがモデル化し、意味に基づく検索を実現している。本セッションではこの技術の内容と、研究開発に至る背景やR&Dのチームビルディングやマネジメントについて紹介します。

■関連リンク
・米国国立標準技術研究所の「TRECVID 2022」の映像検索部門で世界第1位を獲得
https://www.softbank.jp/corp/news/press/sbkk/2022/20221128_01/

■作成者
堀 隆之(ほり たかゆき)
ソフトバンク株式会社
テクノロジーユニット サービス企画技術本部
テクニカルマイスター

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

SoftBank Tech Night
PRO

March 16, 2023
Tweet

More Decks by SoftBank Tech Night

Other Decks in Technology

Transcript

  1. ιϑτόϯΫגࣜձࣾ
    ງོ೭
    4PGU#BOL5FDI
    /JHIU'FT

    View Slide

  2. ιϑτόϯΫגࣜձࣾ
    ςΫϊϩδʔϢχοτ
    αʔϏεاըٕज़ຊ෦
    "*"SDIJUFDU෦
    5FDIOJDBM.FJTUFS
    ιϑτόϯΫΞΧσϛΞظ
    ૣҴాେֶটᡈݚڀһ
    ࣗݾ঺հ
    ॴଐ

    View Slide

  3. ө૾ݕࡧٕज़

    View Slide

  4. 3%ϓϩδΣΫτ

    View Slide

  5. 3%ϓϩδΣΫτ
    ʢۀ຿ͷ20%ʣ

    View Slide

  6. 3%
    ύʔτφʔ
    ө૾ݕࡧ
    ө૾ੜ੒AI
    WiFiηϯγϯά

    View Slide

  7. -"#ߏங

    View Slide

  8. ө૾ݕࡧٕज़

    View Slide

  9. /BUJPOBM*OTUJUVUFPG
    4UBOEBSETBOE5FDIOPMPHZ

    View Slide

  10. إೝূίϯςετ

    View Slide

  11. 53&$7*%

    View Slide



  12. View Slide

  13. *5"*%9

    View Slide

  14. ө૾ݕࡧٕज़
    4VSWFJMMBODF
    &WFOU%FUFDUJPO
    ΑΓ"DU&7

    View Slide

  15. ө૾ݕࡧٕज़
    "E)PD
    7JEFP4FBSDI

    View Slide

  16. ө૾ݕࡧٕज़
    "E)PD7JEFP4FBSDI෦໳

    View Slide

  17. 53&$7*%
    "E)PD7JEFP4FBSDI
    ࠷ऴ݁Ռ

    View Slide

  18. ϓϨεϦϦʔε

    View Slide

  19. σϞ
    ө૾ݕࡧٕज़
    IUUQ

    View Slide

  20. ө૾ݕࡧٕज़
    .VMUJNPEBM-FBSOJOH
    ϖϯ
    ʲςΩετʳ ʲը૾ʳ

    View Slide

  21. ө૾ݕࡧٕज़
    %BUB.PEFM
    ̐ԯͷը૾ͱςΩετͷϖΞ

    View Slide

  22. ө૾ݕࡧٕज़
    a photo of a television studio.
    $-*1
    σʔλαϯϓϧ

    View Slide

  23. ө૾ݕࡧٕज़
    a photo of a television studio.
    ը૾ͷߏਤɾߏ੒͔ΒγʔϯΛඳࣸ

    View Slide

  24. ө૾ݕࡧٕज़
    ;FSP GFX
    TIPU-FBSOJOH
    $-*1ͷσʔλͰ֓೦ֶश

    View Slide

  25. ө૾ݕࡧٕज़
    ઇࢁΛɾɾɾ
    εϊʔϞʔϏϧͰɾɾɾ
    ๷פ۩Λணͨɾɾɾ

    *NBHF
    &ODPEFS
    5FYU
    &ODPEFS
    ಛ௃ϕΫτϧ
    ಛ௃ϕΫτϧ
    &ODPEFSˍ%FDPEFS

    View Slide

  26. ө૾ݕࡧٕज़
    ઇࢁΛɾɾɾ
    εϊʔϞʔϏϧͰɾɾɾ
    ๷פ۩Λணͨɾɾɾ

    *NBHF
    &ODPEFS
    5FYU
    &ODPEFS
    ಛ௃ϕΫτϧ
    ಛ௃ϕΫτϧ
    ө૾ݕࡧγεςϜ
    &ODPEFSˍ%FDPEFS

    View Slide

  27. ө૾ݕࡧٕज़ ੈք̍ҐʹͳΔͨΊʹ

    View Slide

  28. ը૾ੜ੒"*
    %JGGVTJPO.PEFM
    An astronaut riding a horse
    in a photorealistic style

    View Slide

  29. ը૾ੜ੒"*
    %JGGVTJPO.PEFM

    View Slide

  30. ө૾ݕࡧٕज़
    %JGGVTJPO.PEFM
    ը૾ੜ੒"*ͷٕज़ΛݕࡧʹԠ༻
    ʲಛڐग़ئதʳ
    ઇࢁΛɾɾɾ
    εϊʔϞʔϏϧͰɾɾɾ
    ๷פ۩Λணͨɾɾɾ

    *NBHF
    &ODPEFS
    5FYU
    &ODPEFS
    ಛ௃ϕΫτϧ
    ಛ௃ϕΫτϧ

    View Slide

  31. ө૾ݕࡧٕज़
    53&$7*%

    View Slide

  32. ࣄۀԽ΁ͷల๬ EBCʹͯలࣔ
    SoftBank
    Executive Briefing Center
    ʢ4݄ΑΓʣ

    View Slide

  33. $IBU(15
    ө૾ݕࡧٕज़
    কདྷ૾ ݴޠ͔ΒϚϧνϝσΟΞ΁

    View Slide

  34. *5"*%9 4/4
    ө૾ίϯςϯπ
    "*

    View Slide

  35. ৘ใֵ໋Ͱ
    ਓʑΛ޾ͤʹ

    View Slide