Deep Learning Study (19) / 24.12.16

Norm. Regular.

목적	데이터 분포를 조정하여 학습을 더 효율적으로 만드는 "조정" 기법 (간접적으로는 과적합 방지 가능)	과적합을 방지하기 위한 "규제" 기법
대표 기법	Min-Max Scaling, Standardization, Batch Normalization	L1, L2 정규화, Dropout, Early Stopping
방법	입력 데이터나 층의 출력을 평균과 분산을 조정해 특정 분포로 변환	모델의 가중치 제한 or 페널티 부과해 모델의 복잡성 제어
적용 대상	입력 데이터 또는 층의 출력	모델의 가중치, 뉴런 등

Normalization

1. Min-Max Scaling : 특징 값을 0~1 범위로 변환
2. Standardization : 평균 0, 분산 1로 변환
3. Batch Normalization : 각 층 출력값 정규화

Regularization

1. L1, L2 정규화 : 불필요한 가중치 제거 / 가중치를 작게 유지
2. Dropout : 뉴런 일부 제거
3. Early Stopping : 적절한 시점에 학습 중단