출처
A Review of Data Augmentation Methods of Remote Sensing Image Target Recognition
Link : https://www.mdpi.com/2072-4292/15/3/827
Xuejie Hao 1,† , Lu Liu 1,†, Rongjin Yang 2, Lizeyan Yin 3, Le Zhang 2 and Xiuhong Li 1,*
Abstract
딥러닝 기반의 원격 감지(Remote Sensing) 이미지 인식 연구에서 연구 샘플 수가 부족한 문제가 종종 발생하며, 적은 수의 샘플은 모델의 과적합(Overfitting) 문제를 야기한다. 이 문제를 해결하기 위해 데이터 증강 기술이 개발되었고, 많은 방법들이 제안되었지만 원격 감지 객체 인식에 적용된 데이터 증강에 대한 연구현황을 설명하고 요약한 논문은 없다. 본 논문의 목적은
1. 데이터 증강 방법의 기본 원리에 기반하여 기존 방법을 데이터 기반 데이터 증강 방법 / 네트워크 기반 데이터 증강 방법으로 나누고
2. 각 방법의 장점 / 단점 및 특성을 비교하고 분류
3. 기존 방법의 한계를 논의하고 원격 감지 인식을 위한 데이터 증강 방법의 향후 연구 방향 제시
1. Introduction
원격 감지 이미지 인식 연구는 주로 항구, 선박, 건물, 전력탑, 수역 및 식생의 식별을 포함한다.
데이터 증강 방법의 선택이 이미지 종류와 도메인의 개별 특성을 고려해야하는데, 모든 증강 방법은 하나의 핵심 원칙을 따라야한다.
원래 이미지의 의미 정보를 변경하지 않고 가능한 한 많은 변화를 추가해야한다.
예를들어, 자연 이미지에는 회전 및 상하 반전을 적용하면 의미를 변경할 수 있으므로 적합하지 않지만, 원격 감지 이미지에는 적합하다.
색상 영역 변환은 원격 감지 이미지의 경우 특징의 스펙트럼 정보를 쉽게 변경할 수 있어서 잘못된 인식을 초래한다.
자연 이미지와 원격 감지 이미지에서는 구름에 의해 특징이 가려지고 여러 배경 상황에 의해 가려지는 문제들이 발생하므로 Cropping이나 Erasing 방법은 모델의 강건성을 향상시킬 수 있다.
딥러닝에서 모델은 알려진 데이터는 잘 예측하지만 미지의 데이터에 대해서는 성능이 좋지 않다. 이 현상을 과적합(Overfitting)이라고 한다.[Jin, L.; Kuang, X.; Huang, H.; Qin, Z.; Wang, Y. Over-fitting Study of Artificial Neural Network Prediction Model. J. Meteorol. 2004, 62, 62–70.][Lee, J.-G.; Jun, S.; Cho, Y.-W.; Lee, H.; Kim, G.B.; Seo, J.B.; Kim, N. Deep Learning in Medical Imaging: General Overview. Korean J. Radiol. 2017, 18, 570–584. [CrossRef]]
원격 감지 이미지 연구에서는 데이터 부족 문제가 종종 발생하며 데이터셋이 적을 경우 모델이 쉽게 과적합된다.
이러한 과적합 문제에 대응하기 위해 데이터 증강 개념이 도입되었고, 증강은 완전 똑같지는 않지만 유사한 샘플로 학습에 활용하여 훈련 데이터를 추가하는 방법이다.
데이터 증강은 네트워크의 계산량과 매개변수 조정의 양을 증가시키지도 않고 실제 응용에서 의미 있는 암묵적인 정규화 방법이다.
또한 데이터 증강은 데이터 불균형 문제와 관련이 있다.
2. Data-based Data Augmentation Methods
2.1. One-Sample Transform
단일 샘플 데이터셋을 기하학적 변환, 색상 변환, 선명도 변환, 노이즈, Random Erasing 등을 통해 원본 데이터를 변경하여 새로운 데이터 생성
원격 감지 이미지 데이터에는 색상 변환이 적합하지 않으므로 본 논문에서는 색상 변환은 다루지 않는다.
단일 샘플 변환 방법의 장점은 간단한 작업 및 낮은 시간 비용을 갖고 있다.
2.1.1. Geometric Transformations
이미지를 회전, 확대/축소, 반전, 이동 및 크롭등을 통해 새로운 데이터를 생성하는 방법
대부분의 원격 감지 이미지는 센서를 지면과 수직으로 배치하여 얻으므로 기하학적 변환을 통해 이미지의 의미 정보를 유지할 수 있다.
그러나 기하학적 변환은 정보 중복 및 추가 정보의 제한적인 증가같은 단점이 있어서 실제 응용에서 향상 효과는 제한적이다.
2.1.2. Sharpness Transformations
선명도 변환은 일반적으로 이미지를 선명하게 혹은 흐리게 하여 이루어진다.
흐리게 처리된 이미지로 훈련된 모델은 motion blur가 포함된 테스트 세트에서 성능이 좋다
2.1.3 Noise Disturbance
이미지에 노이즈를 도입하여 훈련을 하면 이미지 품질이 고르지 않은 데이터셋에 대한 모델의 인식능력이 향상된다.
원격 감지 이미지에서 일반적으로 사용되는 노이즈 유형은 가우시안노이즈, 소금/후추노이즈, 스펙클노이즈 등이 있다.
그러나 모델이 과소적합(Underfitting)일 경우 새로운 데이터를 생성하지 못해 모델 성능을 개선하지 못한다,
원격 감지 분류 작업에서 정확도를 크게 향상시키지 못했다.
2.1.4. Random Erasing
이미지의 일부 정보를 랜덤으로 지워 새로운 데이터를 생성
무작위로 지우므로 객체 인식 작업에서는 중요한 정보가 손실될 수 있어 인간의 개입이 필요할 수 있다.
2.2. Multi-Sample Synthesis
다중 샘플 합성은 여러 이미지의 정보를 인위적으로 혼합하여 새로운 데이터를 생성하는 과정
1. 이미지 공간(image space) 정보 합성 / 2. 특징 공간(feature space) 정보 합성으로 나뉜다.
1. 이미지 공간 정보 합성의 대표적인 알고리즘
Mixup, sample pairing, between-class(BC)
2. 특징 공간 정보 합성의 대표적인 알고리즘
SMOTE(Synthetic Minority Oversampling Technique)
2.2.1. Spatial Information Synthesis
공간정보 합성은 선형 스태킹 방법 / 비선형 블렌딩 방법 으로 나뉜다.
(1) 다중 이미지의 선형 스태킹 방법
1. Mixup
2. Between-Class (BC)
3. Sample Pairing
4. Cutmix
(2) 다중 이미지의 비선형 블렌딩 방법
Vertical Concat(수직 연결), Horizontal Concat(수평 연결), Mixed Concat(혼합 연결), Random 2×2, VH-Mixup, VH- BC+, Random Square, Random Column Interval, Random Row Interval, Random Rows, Random Columns, Random Pixels, Random Elements, Noisy Mixup, Random Cropping 및 Stitching(스티칭) 등이 있다.
2.2.2. Feature Space Information Synthesis
특징 공간의 이미지 혼합은 먼저 원본 이미지에서 유용한 특징을 추출한 후 그 특징을 분석/처리한다.
입력 정보를 필터링하므로 정보의 양을 압축하고 혼합속도를 향상시킨다.
CNN / SMOTE 등이 있다.
(1) CNN
CNN이 추출한 이미지 특징을 통해서 Feature Space 부분에서 증강을 수행.
(2) SMOTE
분류문제에서 데이터 불균형 문제를 해결하는데 사용된다.
원격 감지 분야에서 [Bogner, C.; Kuhnel, A.; Huwe, B. Predicting with Limited Data—Increasing the Accuracy in Vis- Nir Diffuse Reflectance Spectroscopy by Smote. In Proceedings of the 2014 6th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHISPERS), Lausanne, Switzerland, 24–27 June 2014; pp. 1–4.] 연구에서는 새로운 데이터를 합성 생성했고, 토양 특성을 평가하는 연구에 사용되었다.
특징 공간에서 새로운 샘플 벡터를 생성하는 방법의 단점은 벡터 데이터를 해석하기 어렵다는 점.
Auto-Encoder를 사용하여 새로운 벡터를 이미지로 Decoding 할 수 있지만 CNN 인코딩 모델에 대응하는 디코딩 모델을 훈련해야한다.
많은 연구에서 일관된 결론을 내릴 수 없어서 특징 공간 기반 혼합 방법은 거의 사용되지 않는다.
2.3. Deep Generative Models
여기부터는 사실 본인의 연구분야도 벗어날 뿐더러, 지금 당장 이 부분을 번역하고 디테일하게 연구하기에는 바빠서 추후에 필요한 task나 새로운 연구분야를 공부하고 싶을때 다시 정리하려고 한다.(2024.10.14)