Deep Learning Study (15) / 24.11.22

1. (GAN의) Mode Collapse 현상과 loss와의 연관성 파악하기

• Mode Collapse : happens when the generator focuses on producing a limited set of data patterns that deceive the discriminator. (local minimum = get stuck producing data in one mode) / discriminator & generator 각각 따로 학습을 하는데, 한쪽이 너무 학습 속도가 빨라서 더 빠르게 멈춰버리게 되면 서로 성능을 더 향상할 수 없게 됨. → 회사 모델의 모드 붕괴 = 다양하게 이미지를 생성하지 못함 (bone위치나 병명이 있는 것이 들어왔을 때 그에 맞게 생성하지 못함)

(*Mode = 데이터 분포에서 관측치가 높은 부분)

 

⇒ Discriminator가 너무 잘 학습될 때 loss function에서 기울기가 0인 곳에 쉽게 도달하게 되고, 이때 Generator는 아직 학습이 잘 안된 상태에서 Discriminator가 분류를 너무 잘하게 되서 발생함. (local minimum)

 

https://medium.com/@miraytopal/what-is-mode-collapse-in-gans-d3428a7bd9b8