Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AI最新論文読み会2022年まとめ

 AI最新論文読み会2022年まとめ

AI最新論文読み会2022年まとめ

More Decks by 医療AI研究所@大阪公立大学

Other Decks in Science

Transcript

  1. 2022೥·ͱΊ AI࠷৽࿦จಡΈձ ɾϝΠϯ ConvNeXt (2݄ൃද): ࢖͍΍͍͢࠷ۙͷߴੑೳϞσϧ GLIDE (1݄ൃද)ɹςΩετtoը૾ੜ੒ Imagic (11݄ൃද)ɹࡉ΍͔ͳमਖ਼

    AudioLM (10݄ൃද): Ի੠ੜ੒Ϟσϧ Socratic Models (5݄ൃද): ൚༻AI (AGI) ɾͦͷଞ Wav2Vec 2 (7݄ൃද): NeuroAI?Brain-inspired AI (AIͱਓؒͷ೴ͷؔ܎Λ୳Δ෼໺) Algorithmic Imprint (7݄ൃද): AI࡞੒ऀͷྙཧ
  2. 2022೥·Ͱ·ͱΊ Self-Attention 2017೥ 2018೥ BERT 2020೥ DETR ViT GPT3 2021೥

    CLIP wav2vec 2 w2v-BERT BigSSL 2019೥ GPT2 SwinT DDPM ADM
  3. DDPM: diffusion modelͷ࢝·Γ DNN Image Noise Image 
 + 


    Noise ਪ࿦ͨ͠ Noise ࣌ࠁ৘ใ ೋ৐ޡࠩ ࠷খԽ
  4. Socratic models Overview طଘͷVLM (Visual Language Model)ɺLMs (Large Language Model)

    ɺ ALMs (Audio Language Model)ͷಉ࢜ が ɺߏ଄Խ͞Εͨର࿩Λߦ͏ɻ ͦͯ͠ɺ ビデ ΦαʔνɺΩϟ プ γϣϯੜ੒ɺ ビデ ΦQ&A (ະ஌ͷλεΫ)ɺকདྷͷߦಈ༧ଌΛ͜ͷର࿩ۭؒ΁ͷ৽͍͠ࢀՃऀͱͯ͠ѻ͏ ɻ
  5. Algorithmic Imprint Ξϧ ゴ Ϧ ズ ϜʹΑΔ֐ が ൃੜͨ͠৔߹ͷҰൠత で

    ߹ཧతͳରࡦͱͯ͠ɺͦͷ༗֐ͳӨڹ が ͞Βʹ఻ൖ͢ΔͷΛ๷ ぐ ͨΊʹ Ξϧ ゴ Ϧ ズ Ϝͷ࢖༻ఀࢭ が Α͘ߦΘΕΔ が ɺఀࢭ͔ͨ͠Βͱݴͬͯެฏੑɺઆ໌੹೚ɺಁ໌ੑɺྙཧͷ໰୊ が ͳ͘ͳΔ Θ͚ で ͸ͳ͍ →͜ͷ༗֐ͳΞϧ ゴ Ϧ ズ ϜͷӨڹ͸ɺΞϧ ゴ Ϧ ズ Ϝ࡟আҎ߱΋௕͘Өڹ͠ଓ͚Δ(Ξϧ ゴ Ϧ ズ Ϝͷࠟ੻) ྫ: ӳࠃΛڌ఺ͱ͢Δߴߍͷଔۀূॻࢼݧ で ͋ΔGCEࢼݧͷΞϧ ゴ Ϧ ズ ϜʹΑΔධՁΛऔΓר͘໰୊(2020) ▪ ど ͷΑ͏ͳࢼݧ͔? ɾ 160͔ࠃҎ্ で ࣮ࢪ͞Ε͍ͯΔ(ͦͷଟ͘͸ӳࠃͷݩ২ຽ஍)ࠃࡍతʹೝΊΒΕͨࢼݧ ɾ AϨ ベ ϧͷ੒੷͸ඞવత で ͋Γɺେֶ΁ͷೖֶʹෆՄܽͳ໾ׂΛՌͨ͢ ▪ܦҢ ɾCOVID-19ͷେྲྀߦʹΑΓGCEࢼݧΛ؂ಜ͢ΔӳࠃʹຊڌΛஔ͘४੓෎ػؔ で ͋ΔOfqual͸ର໘ࢼݧΛதࢭͨ͠ ɾࢼݧͷ୅ΘΓʹɺֶߍ で ͷੜెͷաڈͷ੒੷ɺڭࢣͷධՁΛ࢖༻ͯ͠Ξϧ ゴ Ϧ ズ Ϝ で ੒੷Λ࡞੒ͨ͠ →݁Ռɺੈքతͳ߅ٞߦಈ が ຄൃ͠ɺΞϧ ゴ Ϧ ズ Ϝ͸࡟আ͞Εͨ ɹڭࢣଆ: ͦ΋ͦ΋աڈͷੜెͷධՁΛه࿥͍ͯ͠ͳ͍ ɹੜెଆ: ੒੷ʹରͯ͠ਅ݋ʹऔΓ૊Μ で ͍ͳ͔ͬͨ(ࢼݧ が શͯͳͷ で ௚લͷ30~60೔ʹ໠ษڧ͢Δੜె が ଟ͍) ɾΞϧ ゴ Ϧ ズ Ϝ͸࡟আ͞Εͨ が ɺֶੜͷ࠶ධՁ͸ߦΘΕͳ͔ͬͨɻ ͢ͳΘͪɺ࠾఺ํ๏͸มΘͬͨ が ɺΞϧ ゴ Ϧ ズ ϜͷӨڹΛେ͖͘ड͚͍ͯͨ(Ξϧ ゴ Ϧ ズ Ϝͷࠟ੻)
  6. Algorithmic Imprint ▪Algorithmic Imprint(Ξϧ ゴ Ϧ ズ Ϝͷࠟ੻)Λҙࣝͨ͠Ξϧ ゴ Ϧ

    ズ Ϝͷઃܭ ʮΞϧ ゴ Ϧ ズ Ϝͷࠟ੻ʯΛҙࣝͨ͠ઃܭͷߟ͑ํʹΑΓɺΞϧ ゴ Ϧ ズ Ϝ։ൃ プ ϩηεΛΑΓެฏ で ࣾձٕज़తͳ ৘ใʹج づ ͍ͨ΋ͷʹ͢Δ͜ͱ がで ͖Δɻ (1)Ξϧ ゴ Ϧ ズ ϜͷӨڹ Ξϧ ゴ Ϧ ズ Ϝ͸࡟আͨ͠ޙʹ΋ར֐ؔ܎ऀʹӨڹΛٴ ぼ ͢ɻ։ൃऀͱӡӦऀ͸Ξϧ ゴ Ϧ ズ ϜΛ࡟আ ͢Δ だ ͚ で ͳ͘ɺΞϧ ゴ Ϧ ズ ϜʹΑΔة֐Λੋਖ਼͠ɺઆ໌੹೚ が ࣋ଓͯ͠ཁٻ͞ΕΔɻ (2)Ξϧ ゴ Ϧ ズ Ϝઃܭͷઆ໌੹೚ ։ൃऀ͸ʮΞϧ ゴ Ϧ ズ Ϝͷࠟ੻ʯͷӨڹΛड͚Δਓʹ֐ΛΑΓೝࣝ で ͖ΔΑ͏ʹ͢Δ べ ͖ で ͋Δɻ (3)AIྙཧ ガ バ φϯε で ิڧ͢Δ
 ٕज़తͳհೖ だ ͚ で ͸֐Λ࡟ݮ͢Δ͜ͱ͸ で ͖ͳ͍ɻ ʮΞϧ ゴ Ϧ ズ Ϝͷࠟ੻ʯΛҙࣝͨ͠Ξϧ ゴ Ϧ ズ ϜઃܭΛ ద੾ͳAI ྙཧ ガ バ φϯε で ิ׬͢Δɻ