Upgrade to Pro — share decks privately, control downloads, hide ads and more …

画像から撮影場所を当てる話 ~ 理論的背景 & どこが〇〇区らしいか ~

Keisuke OGAKI
February 04, 2022

画像から撮影場所を当てる話 ~ 理論的背景 & どこが〇〇区らしいか ~

"機械学習で逆ストリートビューを作り、写真から港区らしさを判定する"
https://www.m3tech.blog/entry/photo2geo
というブログの理論的背景を補強したりデモを追加したりするスライドです。

google slide: https://docs.google.com/presentation/d/1Dz2IgmPBvmA0AiMChlRnZHQb4We1igzFlxJYr84JdNQ/edit?usp=sharing

Keisuke OGAKI

February 04, 2022
Tweet

More Decks by Keisuke OGAKI

Other Decks in Science

Transcript

  1. データクローリングどうやってやる? im2gps: flickrから画像収集 PlaNet: Google+から画像収集 • GeoGuessurみたいな方法でできない。。。? ◦ Goole Maps

    API !!! ▪ url = f'https://maps.googleapis.com/maps/api/streetview?location={latitude},{longitude}&size= 456x456&heading={heading}' • GPSと市区町村ってどうやって紐付ける? ◦ 'https://geolonia.github.io/japanese-addresses/api/ja/{district}/{area}.json' ▪ 東京都/中央区.json ▪ 市区町村の”字”の座標一覧が取れるので、最も近い字からラベリング [ { "town": "佃二丁目", "koaza": "", "lat": 35.668796, "lng": 139.786583 }, { "town": "築地三丁目", "koaza": "",
  2. Grad-CAM -> NNの推論プロセスに沿った方法でどこを見ているか検証しよう 1. 入力画像からCNNのある 層の特徴マップを得る 2. まぁとりあえず識別までやってみ る。 3.

    特徴マップの層まで、 ”目的のクラ スだけ”誤差逆伝搬 4. backwardで得られたwとforwardで 得られたAを掛けて(重み x 値)、最終 的に1枚のGrad-CAMを得る
  3. Grad-CAM -> NNの推論プロセスに沿った方法でどこを見ているか検証しよう 1. 入力画像からCNNのある 層の特徴マップを得る 2. まぁとりあえず識別までやってみ る。 3.

    特徴マップの層まで、 ”目的のクラ スだけ”誤差逆伝搬 4. backwardで得られたwとforwardで 得られたAを掛けて(重み x 値)、最終 的に1枚のGrad-CAMを得る