Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ライセンスの呪いを祓う

Henry Cui
December 31, 2022

 ライセンスの呪いを祓う

Henry Cui

December 31, 2022
Tweet

More Decks by Henry Cui

Other Decks in Technology

Transcript

  1. ライセンス! ▪ このライブラリー・この実装を使いたい! → ライセンスを見てみたら、だめでした。。。 ▪ 色々回避策を施し、やっとリリースできる → と思いきや、pre-trained modelをfine

    tuningしていた ▪ ほとんどのpre-trained modelはImageNetで学習していた • ImageNetやPlaces365自体は商用不可 • 学習済みモデルの重みという数値の塊は、ImageNetと違うけど、商用 不可と承認したうえでデータをダウンロードし学習を回すので、やはり 学習済みモデルも商用不可なのでは → そもそも最初でImageNetでpre-trainしなければ厄介なことにならな い → ImageNet以外のpre-training data候補として、人工生成画像が有 望! 2
  2. Pre-training without Natural Images ▪ ACCV 2020, IJCV 2022 ▪

    数学的に大量な画像を生成したい • Fractalは有名な数学的構造 • シンプルなパラメータで複雑な模様を制御できる ▪ Iterated Function System (IFS)で生成プロセスを定義 • • 一つのIFSを一つの分類カテゴリにする • 確率pでiを決める • 以下の式でxを変換 3
  3. Can Vision Transformers Learn without Natural Images? ▪ AAAI 2022

    ▪ 前述の生成過程を少し拡張し、Vision Transformersに適用し た ▪ より性能の良いpre-trainが達成できた 7
  4. Replacing Labeled Real-Image Datasets with Auto-Generated Contours ▪ CVPR 2022

    ▪ 生成プロセスがより精緻化になったContourベースの人工 データで、Vision Transformersのpre-trainで(限定的ですが) ImageNetを超えた 8
  5. Replacing Labeled Real-Image Datasets with Auto-Generated Contours ▪ Vision TransformerのAttention

    Mapで、Fractalsにとって縁 のところが注目される → Contourで良い ▪ 自由度が高い人工データのほうが性能が良い → 生成プロセ スにある可動パラメータを増やせば良い 9
  6. まとめ ▪ ライセンス問題回避のために、人工生成画像で画像認識モデ ルをpre-trainする手法に関する論文 • Vision Transformersで優れた性能が実現 ▪ Future work

    • ほとんど白黒の画像を扱ってきたが、カラフルな生成画像でpre-train すればよりパワフルになる! 10