Share
Embed
Transcript
28 slides
-
AI 2 自己紹介 ▪ 氏名 ▪ 水谷亮太 ▪ 所属 ▪
GOドライブ株式会社 ▪ AI本部 AI技術開発2部 データサイエンティスト ▪ 業務内容 ▪ 次世代AIドラレコサービス『DRIVE CHART』の機能開発 ▪ Competition ▪ Kaggle Expert ▪ SIGNATE Grandmaster ▪ オプト レコメンドエンジン作成コンペ 2位入賞 ▪ Motion Decoding Using Biosignals 重心位置予測部門 4位入賞 @rmizuta3 -
▪ Data-centric AIが流行ってきているように、学習・あるいは推論に使用する データ自体の品質の重要度が増してきている ▪ 画像や動画を用いたモデルを使用する場合、画質にはコスト(推論コスト・保 存ストレージコスト)と推論精度のトレードオフが生じる ▪ 今回はJPEGを例として用い、圧縮が具体的にどのような手順で実施されてい るかと、それを用いて推論した場合にCV性能に与える影響を調査した内容を
示す ▪ (最近LLMの話題ばかりなので違う話がしたかった) ▪ 本スライドはGO所属時にDeNA・GO・GOドライブ(※当時はDeNA+GOの 2社)の3社勉強会で発表した内容ですが、その後会社分割・転籍に伴い、 GOドライブの所属として資料を公開します はじめに 3 -
1. 色空間変換 2. サブサンプリング 3. DCT(離散コサイン変換) 4. 量子化 5. エントロピー符号化
JPEGのアルゴリズム手順 7 -
▪ CbCr成分をサブサンプリング ▪ 人間の視覚特性では色差成分の感度が低いため ▪ 主なパターン ▪ 4:4:4 圧縮なし ▪
4:2:2 色差成分を水平方向に1/2 ▪ 4:2:0 色差成分を水平・垂直方向両方に1/2 2. サブサンプリング Cb(青色差成分) Cr(赤色差成分) Y (輝度成分) 4:2:0の場合のイメージ(2倍圧縮) 9 -
▪ 8x8の領域毎にDCTを行う ▪ 空間領域 → 周波数領域に変換することで量子化で高周波成分を重点的に削減する ため ▪ 空間領域のなだらかな変化→低周波(左上成分) ▪
空間領域の急激な変化→高周波(右下成分) 3. DCT(離散コサイン変換) DCT 10 (低) 水平方向周波数 (高) (高) 垂直方向周波数 (低) -
▪ DCT係数を対応する量子化テーブルで割ることでデータを圧縮 ▪ 量子化テーブルはファイルサイズ削減と画質劣化のバランスを決定する重み付け行列 ▪ 高周波成分はテーブルの値(圧縮率)が大きい ▪ テーブルの値は品質を示すパラメータにより決定 ▪ image
magickの例:convert input.jpg -quality 95 input_q95.jpg 4. 量子化 量子化テーブル 11 -
5.1 符号化 ジグザグスキャン ▪ 周波数の低→高の順にジグザグスキャンして8x8を一列に ▪ 高周波帯にある0をまとめるため [261,40,-13,-2,-8,-6,-5, 11,-6,2,1,-1,1,0,2,0,-2,3 ,2,-1,-1,0,0,0,0,-1,0,-1,0
,0,0,0,0,0,1,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0] 13 -
5.2 符号化 ランレングス圧縮 ▪ 連続して出現する数字を(対象の数字,連続出現回数)の形 式にまとめる [261,40,-13,-2,-8,-6,-5, 11,-6,2,1,-1,1,0,2,0,-2, 3,2,-1,-1,0,0,0,0,-1,0,-1 ,0,0,0,0,0,0,1,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0] [(261, 1), (40, 1), (-13, 1), (-2, 1), (-8, 1), (-6, 1), (-5, 1), (11, 1), (-6, 1), (2, 1), (1, 1), (-1, 1), (1, 1), (0, 1), (2, 1), (0, 1), (-2, 1), (3, 1), (2, 1), (-1, 2), (0, 4), (-1, 1), (0, 1), (-1, 1), (0, 6), (1, 1), (0, 29)] 14 -
5.3 符号化 ハフマン符号化 ▪ 出現頻度が高い文字には短い符号を、低い文字には長い符号を割り当 てることで、全体のデータサイズを削減 [(261, 1), (40, 1),
(-13, 1), (-2, 1), (-8, 1), (-6, 1), (-5, 1), (11, 1), (-6, 1), (2, 1), (1, 1), (-1, 1), (1, 1), (0, 1), (2, 1), (0, 1), (-2, 1), (3, 1), (2, 1), (-1, 2), (0, 4), (-1, 1), (0, 1), (-1, 1), (0, 6), (1, 1), (0, 29)] 15 -
qualityの比較 • q=20では人の目では劣化をほとんど感じない • q=10だと若干色味が落ちる • q=5だと明らかに劣化がみえる • デフォルトのqualityはpillowが75、openCVが95。COCOのような有名な画像 データセットはquality80以上のものが多い
q=5 10KB q=10 14KB q=20 20KB q=100 103KB 16 • JPEGでは先ほどまでに説明した圧縮の強さをまとめてqualityという指標で制御 -
“First Gradually, Then Suddenly: Understanding the Impact of Image Compression
on Object Detection Using Deep Learning” Tomasz et al(2022) ▪ 論文概要 ▪ COCO Detection Challenge 2017のデータを用い、JPEGの圧縮率を変 化させた場合にメジャーな物体検出モデルの精度の変化を調査 圧縮がCV性能へ与える影響を調査した論文紹介(1) 18 -
▪ 圧縮率を上げるとprecisionはあまり下がらないがrecallは低下 ▪ quality25あたりまではあまり性能の劣化はゆるやか 様々な物体検出モデルでJPEGの圧縮率を変化させた場合の性能評価(Fig12) 上からprecision, recall, f1 scoreの評価 19
• 画像が劣化するとobjectが認識できなくなるため、PPVよりTPRに劣化が現れる • どのモデルもqualityを下げると緩やかに性能が落ちるが、25あたりで特に変化が大きくなる -
“Are Visual Recognition Models Robust to Image Compression?” João et
al (2023) ▪ 論文概要 ▪ 画像圧縮が、画像分類、物体検出、セマンティックセグメンテーション という3つの視覚認識タスクに与える影響を分析。3つのタスクすべてに おいて、強力な圧縮を使用すると認識能力に大きな影響が出ることを示 した。 圧縮がCV性能へ与える影響を調査した論文紹介(2) 21 -
▪ JPEGは人間の視覚特性に適した削減手法をとっている ▪ 輝度成分を残し色差成分を削減 ▪ 低周波成分を残し高周波成分を削減 ▪ これはCV性能を評価対象とした場合に最適か? ▪ 性能はデータセットに依存するが、圧縮によるCV性能へ
の影響はありそう ▪ 後段のCVモデルでの推論精度を考慮した圧縮方法はない か? ここまでの話で思うこと 23 -
▪ E2Eモデルで画像を圧縮することでJPEG、JPEG2000と比較し優れた視覚品 質を達成 ▪ luma MS-SSIM/PSNRは輝度チャネルに限定した人間の主観に近い評価 ▪ これはこの分野の基礎論文だが、関連手法を実装したCompressAIというライ ブラリがある “End-to-end
Optimized Image Compression” Ballé et al (ICLR 2016) 25 -
"Learned Image Compression for Machine Perception" F. Codevilla et al
(arXiv 2021) ▪ 人間の視覚品質と機械知覚の両方を最適化する、学習型画像圧縮のための Rate-Distortion-Utilityフレームワークを開発 ▪ 学習時の損失に分類や検出などのタスク損失の和を追加している 26 -
27 ▪ 機械と人間の両方の視覚を考慮した画像圧縮のための新しい効率的なフレー ムワークを提案 ▪ 提案する空間周波数変調アダプタ(SFMA)によって空間領域と周波数領域 の両方で潜在的な冗長性を効率的に削減し、復号画像を下流の機械学習タス クに効果的に適応させている “Image Compression
for Machine and Human Vision with Spatial-Frequency Adaptation” Han et al(2024)