外観検査用画像前処理の_コツをコード解説付きで。/20220810_CDLE_LT

2022年 JDLA 合格者の会／CDLE LT
--
外観検査用画像前処理の_コツをコード解説付きで。

Transcript

1. 外観検査用画像前処理の コツをコード解説付きで。 2022.8 合格者の会2022／CDLE LT Akihiro ITO
2. モチベーション • 高性能な異常検知モデル「PaDiM」を簡単に使えるようにしたい。 ◦ PaDiM：https://arxiv.org/pdf/2011.08785.pdf • 動作環境として、connectome.design社開発のmetabase®を利用する。 データを放り込むだけで、どの程度検知できるか試せるように。 • 撮像したデータをPaDiMの入力に合わせるための前処理が意外と面倒。 → 汎用的な前処理を作ろう！
3. FYI：Overview of PaDiM • 2020年11月に発表された、不良品検知を行 う機械学習モデル。 • 正常品のみの画像から再学習不要で不良 品検知が実装可能。 • 不良品検知のデータセットである MVTec AD でSOTAを達成。 出展：https://arxiv.org/pdf/2011.08785.pdf
4. FYI：Overview of MVTec AD • 2019年6月に公開されたデータセット。 • 15のカテゴリーに分類され、工業製品や農 作物の画像。 • 欠陥領域のセグメンテーションデータも含ま れる。 出展：https://www.mvtec.com/company/research/datasets/mvtec-ad
5. 今回のターゲット画像。 • コンソメキューブの包み方の外観検査。 • Good / Bad の２値分類。 • 入力画像は、ベルトコンベア上を流れてくる 対象を撮像するため、画像ファイル内での位 置が不定。 → PaDiMで使える画像にする。
6. 前処理でやること。 1. 物体が画像の中心に配置された、 224 x 224 pxのカラーpngファイルを作る。 2. 精度確認用の、224 x 224 pxのモノクロ2値pngファイルを作る。 3. 各ディレクトリ（＝フォルダと同義）への振り分け ※今回は、時間の関係で ”1”のみ紹介。
7. どう処理するか？ 1. 物体を検出して切り出す。 → 最新のDETRを使用 DETR：DEtection Transformer 2020年に発表されたTransformerを使った物体検出手法。 ※FasterRCNNも試したが、DETRの方が精度がよかった。 2. PaDiMで使えるように、画像のサイズを揃え、画像の中心に 物体を配置する。
8. 全体の処理構造 result = step1_DetectAndCrop.prePadim_step1(searchpath, indir, outdir_step1) if result == 0: print("Error! Step1. No File Saved to: ", outdir_step1) return False result = step2_Align.prePadim_step2(searchpath2, outdir_step1, outdir_step2, args.bgcolor) if result == 0: [エラー処理] • 途中結果を確認しやすい＆再利用しや すい単位でステップを分割する。 ◦ Step1：DETRを使って画像の中から物 体を検出し、画像を切り出す。 ◦ Step2：正しく検出と切り出しができない 画像は捨てて、すべて同じサイズに揃 える。 • ステップごとに必ず処理結果を判定し、 エラー処理を入れること。
9. ディレクトリ構造の処理のコツ parser = argparse.ArgumentParser() parser.add_argument('-d', '--data_path', type=str) parser.add_argument('-s', '--save_path', type=str) cwd = os.getcwd() targetdir_in = os.path.join(args.data_path, args.target) targetdir_out = os.path.join(args.save_path, args.target) • 入出力ディレクトリ名は、引数として受け 取れるようにした方が良い。 • 上位の構造に依存しないよう、 Current Working Directory を最上位として処理する。 → フルパス入れちゃダメ。 • パスを組み立てる時は、文字列結合で はなく、 os.path.join() を使う。 → “/”入力の有無を問わないように。
10. ディレクトリ構造全体から対象ファイルを探すコツ # 各種定義 filetype = “.png” wildcard = “/**/*” searchpath = os.path.join(indir, wildcard + filetype) if len(glob.glob(searchpath, recursive=True)) == 0: print("Error! Step1. File Not Found in: ", searchpath) return False else: [実際の処理] • 特定の数字や文字列（ マジックナンバー） をソースコードの途中に埋め込まず、まと めて定義する。 • パスに、“ /**/* ”を含めると、配下のディ レクトリ階層すべてから、対象ファイルを 検出できる。 • 「対象ファルが一つも見つからない場合」 のエラー処理を必ず入れること。
11. 簡易化のため、うまく検出できなかった画像は諦める！ [画像を開いてサイズを配列に入れるループ処理 ]: size_mean = np.mean(image_size_array, axis=0) size_std = np.std(image_size_array, axis=0) size_limit_low = size_mean - size_std size_limit_high = size_mean + size_std if limit_low_w <= img.width and img.width <= limit_high_w and limit_low_h <= img.height and img.height < limit_high_h: [実際の処理] • 検出と切り出しに失敗した画像は、画 像サイズが異なる。 • 平均と分散から、作成すべき基本画像 サイズを求める。 • 画像サイズから平均と標準偏差を計算 し、外れ値となる画像を除く。
12. 同じ背景色・サイズの画像に揃える。 background_color=(0,0,0) if bgcolor == 'white': background_color=(255,255,255) [画像を開くループ処理 ]: img_new = Image.new(img.mode, box_size, background_color) left = int((box_wh - img.width) // 2) top = int((box_wh - img.height) // 2) img_new.paste(img, (left, top)) img_new.save(os.path.join(outdirname, os.path.basename(file))) • 基本画像の背景色を引数から受け取 る。（背景は、黒か白でよいはず） • 基本画像を生成し、元の画像をその中 心に貼り付ける。
13. これで、入力画像から学習用画像が生成される。
14. まとめ • 今回の例 ◦ ファイル数：4 ◦ ソースコードの行数：約250行（空行含む） • AIのサンプルコードは、パスやファイル名なども含め特定の文字列が直接書き込まれてい たり、画像サイズや形式も限定されている場合が多い。 • 実務利用に向けて汎用的に使えるようにするためには、課題に合わせて修正する箇所が 極力少なくなるように作り込む必要がある。 • また例えば、 ”for i in range(10):” のようにいわゆるマジックナンバーが埋め込まれてい るとコードの解読や修正に手間がかかるので、必ず定義すること。 epoch = 10 for i in range(epoch):
15. ソースコードは、美しく。