JPEGの仕組みと圧縮品質が CV性能に与える影響について

25/7/31の社内勉強会で使用した資料です

Transcript

1. AI Community 2025.07.31 水谷　亮太 株式会社ディー・エヌ・エー / GO株式会社 / GOドライブ株式会社 JPEGの仕組みと圧縮品質が CV性能に与える影響について
2. AI 2 自己紹介 ▪ 氏名 ▪ 水谷亮太 ▪ 所属 ▪ GOドライブ株式会社　 ▪ AI本部 AI技術開発2部 データサイエンティスト ▪ 業務内容 ▪ 次世代AIドラレコサービス『DRIVE CHART』の機能開発 ▪ Competition ▪ Kaggle Expert ▪ SIGNATE Grandmaster ▪ オプト レコメンドエンジン作成コンペ 2位入賞 ▪ Motion Decoding Using Biosignals 重心位置予測部門 4位入賞 @rmizuta3
3. ▪ Data-centric AIが流行ってきているように、学習・あるいは推論に使用する データ自体の品質の重要度が増してきている ▪ 画像や動画を用いたモデルを使用する場合、画質にはコスト(推論コスト・保 存ストレージコスト)と推論精度のトレードオフが生じる ▪ 今回はJPEGを例として用い、圧縮が具体的にどのような手順で実施されてい るかと、それを用いて推論した場合にCV性能に与える影響を調査した内容を 示す ▪ (最近LLMの話題ばかりなので違う話がしたかった） ▪ 本スライドはGO所属時にDeNA・GO・GOドライブ（※当時はDeNA+GOの 2社）の3社勉強会で発表した内容ですが、その後会社分割・転籍に伴い、 GOドライブの所属として資料を公開します はじめに 3
4. 4 目次 1. JPEGの仕組み 2. 圧縮がCV精度に与える影響 3. E2Eモデルの圧縮手法の紹介
5. 5 目次 1. JPEGの仕組み 2. 圧縮がCV精度に与える影響 3. E2Eモデルの圧縮手法の紹介
6. ▪ Claude Codeで自分用の学習サイトを作成しましたが結構よかったです。 ▪ インタラクティブに仕組みの理解ができ、スライド用の図も同時に作成 できる ▪ 生成コードには間違いが一定発生するので、修正しながらロジックを自 分で理解する必要がある 余談 6
7. 1. 色空間変換 2. サブサンプリング 3. DCT(離散コサイン変換) 4. 量子化 5. エントロピー符号化 JPEGのアルゴリズム手順 7
8. ▪ RGB色空間からYCbCr色空間へ変換 1. 色空間変換 Cb(青色差成分) Cr(赤色差成分) Y (輝度成分) 8
9. ▪ CbCr成分をサブサンプリング ▪ 人間の視覚特性では色差成分の感度が低いため ▪ 主なパターン ▪ 4:4:4 圧縮なし ▪ 4:2:2 色差成分を水平方向に1/2 ▪ 4:2:0 色差成分を水平・垂直方向両方に1/2 2. サブサンプリング Cb(青色差成分) Cr(赤色差成分) Y (輝度成分) 4:2:0の場合のイメージ(2倍圧縮) 9
10. ▪ 8x8の領域毎にDCTを行う ▪ 空間領域 → 周波数領域に変換することで量子化で高周波成分を重点的に削減する ため ▪ 空間領域のなだらかな変化→低周波(左上成分) ▪ 空間領域の急激な変化→高周波(右下成分) 3. DCT(離散コサイン変換) DCT 10 (低)　水平方向周波数　(高) (高)　垂直方向周波数　(低)
11. ▪ DCT係数を対応する量子化テーブルで割ることでデータを圧縮 ▪ 量子化テーブルはファイルサイズ削減と画質劣化のバランスを決定する重み付け行列 ▪ 高周波成分はテーブルの値(圧縮率)が大きい ▪ テーブルの値は品質を示すパラメータにより決定 ▪ image magickの例：convert input.jpg -quality 95 input_q95.jpg 4. 量子化 量子化テーブル 11
12. ▪ 量子化後のDCT係数を下記の手法で符号化 1. 周波数の低→高の順にジグザグスキャンして8x8を一列に 2. ランレングス圧縮 3. ハフマン符号化 5. 符号化 12
13. 5.1 符号化 ジグザグスキャン ▪ 周波数の低→高の順にジグザグスキャンして8x8を一列に ▪ 高周波帯にある0をまとめるため [261,40,-13,-2,-8,-6,-5, 11,-6,2,1,-1,1,0,2,0,-2,3 ,2,-1,-1,0,0,0,0,-1,0,-1,0 ,0,0,0,0,0,1,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0] 13
14. 5.2 符号化 ランレングス圧縮 ▪ 連続して出現する数字を(対象の数字,連続出現回数)の形 式にまとめる [261,40,-13,-2,-8,-6,-5, 11,-6,2,1,-1,1,0,2,0,-2, 3,2,-1,-1,0,0,0,0,-1,0,-1 ,0,0,0,0,0,0,1,0,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,0 ,0,0,0,0,0,0,0,0,0,0,0] [(261, 1), (40, 1), (-13, 1), (-2, 1), (-8, 1), (-6, 1), (-5, 1), (11, 1), (-6, 1), (2, 1), (1, 1), (-1, 1), (1, 1), (0, 1), (2, 1), (0, 1), (-2, 1), (3, 1), (2, 1), (-1, 2), (0, 4), (-1, 1), (0, 1), (-1, 1), (0, 6), (1, 1), (0, 29)] 14
15. 5.3 符号化 ハフマン符号化 ▪ 出現頻度が高い文字には短い符号を、低い文字には長い符号を割り当 てることで、全体のデータサイズを削減 [(261, 1), (40, 1), (-13, 1), (-2, 1), (-8, 1), (-6, 1), (-5, 1), (11, 1), (-6, 1), (2, 1), (1, 1), (-1, 1), (1, 1), (0, 1), (2, 1), (0, 1), (-2, 1), (3, 1), (2, 1), (-1, 2), (0, 4), (-1, 1), (0, 1), (-1, 1), (0, 6), (1, 1), (0, 29)] 15
16. qualityの比較 • q=20では人の目では劣化をほとんど感じない • q=10だと若干色味が落ちる • q=5だと明らかに劣化がみえる • デフォルトのqualityはpillowが75、openCVが95。COCOのような有名な画像 データセットはquality80以上のものが多い q=5 10KB q=10 14KB q=20 20KB q=100 103KB 16 • JPEGでは先ほどまでに説明した圧縮の強さをまとめてqualityという指標で制御
17. 17 目次 1. JPEGの仕組み 2. 圧縮がCV精度に与える影響 3. E2Eモデルの圧縮手法の紹介
18. “First Gradually, Then Suddenly: Understanding the Impact of Image Compression on Object Detection Using Deep Learning” Tomasz et al(2022) ▪ 論文概要 ▪ COCO Detection Challenge 2017のデータを用い、JPEGの圧縮率を変 化させた場合にメジャーな物体検出モデルの精度の変化を調査 圧縮がCV性能へ与える影響を調査した論文紹介(1) 18
19. ▪ 圧縮率を上げるとprecisionはあまり下がらないがrecallは低下 ▪ quality25あたりまではあまり性能の劣化はゆるやか 様々な物体検出モデルでJPEGの圧縮率を変化させた場合の性能評価(Fig12) 上からprecision, recall, f1 scoreの評価 19 • 画像が劣化するとobjectが認識できなくなるため、PPVよりTPRに劣化が現れる • どのモデルもqualityを下げると緩やかに性能が落ちるが、25あたりで特に変化が大きくなる
20. ▪ 小さなオブジェクトの方が圧縮の影響をより強く受ける オブジェクトサイズ毎に圧縮率を変化させた場合の評価(Fig14) 上から大、中、小objectの 性能評価 20 • 小さいobjectの方が、qualityを下げた時の影響がわずかに大きい
21. “Are Visual Recognition Models Robust to Image Compression?” João et al (2023) ▪ 論文概要 ▪ 画像圧縮が、画像分類、物体検出、セマンティックセグメンテーション という3つの視覚認識タスクに与える影響を分析。3つのタスクすべてに おいて、強力な圧縮を使用すると認識能力に大きな影響が出ることを示 した。 圧縮がCV性能へ与える影響を調査した論文紹介(2) 21
22. 22 画像の圧縮度合いを変化させた場合のImageNet分類性能(Fig3(a)) どのモデルのケースでも1ピクセルあた りのbit数に比例してaccuracyが低下
23. ▪ JPEGは人間の視覚特性に適した削減手法をとっている ▪ 輝度成分を残し色差成分を削減 ▪ 低周波成分を残し高周波成分を削減 ▪ これはCV性能を評価対象とした場合に最適か？ ▪ 性能はデータセットに依存するが、圧縮によるCV性能へ の影響はありそう ▪ 後段のCVモデルでの推論精度を考慮した圧縮方法はない か？ ここまでの話で思うこと 23
24. 24 目次 1. JPEGの仕組み 2. 圧縮がCV精度に与える影響 3. E2Eモデルの圧縮手法の紹介
25. ▪ E2Eモデルで画像を圧縮することでJPEG、JPEG2000と比較し優れた視覚品 質を達成 ▪ luma MS-SSIM/PSNRは輝度チャネルに限定した人間の主観に近い評価 ▪ これはこの分野の基礎論文だが、関連手法を実装したCompressAIというライ ブラリがある “End-to-end Optimized Image Compression” Ballé et al (ICLR 2016) 25
26. "Learned Image Compression for Machine Perception" F. Codevilla et al (arXiv 2021) ▪ 人間の視覚品質と機械知覚の両方を最適化する、学習型画像圧縮のための Rate-Distortion-Utilityフレームワークを開発 ▪ 学習時の損失に分類や検出などのタスク損失の和を追加している 26
27. 27 ▪ 機械と人間の両方の視覚を考慮した画像圧縮のための新しい効率的なフレー ムワークを提案 ▪ 提案する空間周波数変調アダプタ（SFMA）によって空間領域と周波数領域 の両方で潜在的な冗長性を効率的に削減し、復号画像を下流の機械学習タス クに効果的に適応させている “Image Compression for Machine and Human Vision with Spatial-Frequency Adaptation” Han et al(2024)
28. ▪ JPEGの仕組みは人間の視覚特性に合わせた削減手法を とっている ▪ E2Eモデルを用いることで、圧縮効率の向上が期待できる が、計算量が重い、標準化が進んでいない、未知の学習対 象に対して性能が劣化する等の問題がある ▪ (あまりないかもしれないが)もし実際にこの辺の調整が必 要なら画像・動画の圧縮率を変化させて必要な指標を確認 する形になりそう まとめ 28