オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【画像処理】データ拡張 / Data Augmentation #まとめ編 #00

【画像処理】データ拡張 / Data Augmentation #まとめ編 #00

データサイエンス データサイエンス-機械学習 データサイエンス-画像処理

Index

データ拡張 / Data Augmentation

データ拡張 / Data Augmentation とは、機械学習において、 学習用のデータに対して「変換」を施すことでデータを水増しする手法.

ここでは、画像データにおける Data Augmentation について、記す.

画像における Data Augmentation

深層学習のCNN は、微小な平行移動や歪みに対する不変性をもつ一方で、 画像の回転、反転、輝度の変化に対する不変性を構造として持たない.

そのために、訓練画像に左右反転などの幾何学的変換を加えて、訓練データを拡張し、 この画像を学習させることで、不変性を学習させる.

また、画像を擬似的に大量に増やすので、過学習の防止に役立つ.

さらに、訓練データが少ないときにデータを擬似的に増やす方法として、 画像の各画素にガウスノイズを付加するという手法がある.

Data Augmentation の手法

画像処理による Data Augmentation

  • Color Space Transformations / 色彩の変換
  • Random Cropping / 切り取り
  • Resizing / アスペクト (縦横比) の変換
  • Scaling
  • Rotation / 回転
  • Noise Injection / ノイズの追加
  • Image Mixing / 画像同士の合成
    • Mixup
    • CutMix

Color Space Transformations

HSV 変換

Noise Injection

  • GradientBased Learning Applied to Document Recognition
    • [1998]
    • 1 Introduction
      • 1.1 Learning from Data
      • 1.2 Gradient-Based Learning
      • 1.3 Gradient Back-Propagation
      • 1.4 Learning in Real Handwriting Recognition Systems
      • 1.5 Globally Trainable Systems
    • 2 Convolutional Neural Networks for Isolated Character Recognition
      • 2.1 Convolutional Networks
    • 3 Results and Comparison with Other Methods
      • 3.5 Invariance and Noise Resistance
        • Noise Injection
    • http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdf

Mixup / 2017

  • mixup: Beyond Empirical Risk Minimization

Cutout / 2017

  • Improved Regularization of Convolutional Neural Networks with Cutout

SamplePairing / 2018

  • Data Augmentation by Pairing Samples for Images Classification

CutMix / 2019



AugMix / 2019

KeepAugment / 2020

画像認識におけるデータ拡張の精度を高める新しい手法 KeepAugment を提案. 従来のランダムなデータ拡張は、画像内の重要な特徴を損なわせることで学習を妨げるノイズを生むことがあった. 本手法は、サリヤンシーマップを用いて画像の重要領域を特定し、その部分を保護しながら拡張を行うことで情報の損失を最小限に抑える. 実験では、画像分類や物体検出などの多様なタスクにおいて、既存の有力な手法を上回る精度向上が示された. さらに、計算コストを削減するための低解像度近似や初期層の損失を利用する効率化策も提示されている.

  • KeepAugment: A Simple Information-Preserving Data Augmentation Approach

TokenMix / 2022

ViT の性能を向上させるために設計された. CutMixという先行技術を基盤としつつ、トランスフォーマーベースのアーキテクチャにより適した、トークンレベルのマスク生成や、教師ネットワークからの活性化マップに基づく新しい画像ラベリング手法を導入.

  • TokenMix: Rethinking Image Mixing for Data Augmentation in Vision Transformers

  • In A Latest Computer Vision Research, A Research Team Proposes A Novel Data Augmentation Technique Called ‘TokenMix’ To Improve The Performance of Vision Transformers

深層学習を用いた Data Augmentation

GAN を利用した Data Augmentation

  • The Effectiveness of Data Augmentation in Image Classification using Deep Learning

  • Data Augmentation in Emotion Classification Using Generative Adversarial Networks

  • GAN Augmentation: Augmenting Training Data using Generative Adversarial Networks

  • ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness

  • Style Augmentation: Data Augmentation via Style Randomization

  • STaDA: Style Transfer as Data Augmentation

AugMax / 2021

Teach Augment / 2022

Style Transfer を利用した Data Augmentation

  • Exploring the structure of a real-time, arbitrary neural artistic stylization network

Image Synthesis を利用した Data Augmentation

  • Semantic Image Synthesis with Spatially-Adaptive Normalization

Transformer の手法における Data Augmentation

その他

Disentangled Feature Augmentation / 2021

バイアスを少なくすることを目的とした手法.

  • Learning Debiased Representation via Disentangled Feature Augmentation

MetaSAug / 2021

視覚認識タスクにおけるロングテール分布の問題に対処するために、メタセマンティック拡張 (MetaSAug)という手法を提案. 現実世界の訓練データには、少数の多数派クラスにサンプルが偏る傾向があり、これが典型的な教師あり学習アルゴリズムの性能を著しく低下させる. 従来のデータ拡張手法であるISDAは、少数派クラスのデータ不足が原因で適切なクラスごとの共分散行列を推定できないため、本アプローチはこれを改善する. MetaSAugは、メタ学習フレームワークを活用することで、小さなバランスの取れた検証セットでの損失を最小化するように、意味的な拡張方向を動的に最適化する.

  • MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition

Augmentation Multiplicity / 2021

画像認識モデルの学習において、同一画像から複数の異なる水増しデータを生成する Augmentation Multiplicity」という手法. 標準的な手法では1枚につき1つの水増し画像を用いますが、複数回サンプリングすることで、学習を効率化しつつテストエラーを有意に低減できることを示している. 研究チームは、データ水増しがもたらす「バイアス」は汎化に貢献する一方で、サンプリングに伴う「分散」は精度を損なう要因になると指摘した. この手法を用いることで、ノイズが抑制されてより高い学習率 (温度) での安定した学習が可能になり、ResNetやNFNetといった主要モデルで精度向上が確認されている.

  • Drawing Multiple Augmentation Samples Per Image During Training Efficiently Decreases Test Error

参考

  • A survey on Image Data Augmentation for Deep Learning

  • A Comprehensive Survey of Image Augmentation Techniques for Deep Learning

Web サイト