Deep Learning Study (8) / 24.09.24

• 심층신경망 층 수, 깊이 쌓는 이유
  • 2층 이상 쌓으면 심층신경망이라고 함.
  • 층을 더 깊이 쌓아 학습할수록 더 고차원적이고 추상적인 특징(개별의 것이 아닌 종합적인 특징)을 추출하게 됨. → 일반화된 특징을 학습해 일관된 예측 및 정확한 예측이 가능하게 됨.

 

 

• CNN이 MLP보다 이미지 연산에 강한 이유/패턴이란?
  • MLP 란? 다층 퍼셉트론 → dense 층을 쌓아서 만든 모델 (층 간의 모든 뉴런이 완전 연결되어 있어 각 입력 뉴런이 모든 출력 뉴런에 영향 미침)
  • Dense 층 = 입력 데이터의 특정 위치나 순서가 고려되지 않고, 단순히 하나의 벡터로 입력을 처리 ↔ Controversial 층은 2D 윈도우로 지역적 특성, 위치와 패턴의 관계를 학습 (이미지의 공간 정보를 보존)
  정리
  1. 지역적 영역 처리 (지역적 연결) : 이미지의 부분 슬라이딩하면서 패턴 학습 ⇒ 공간적 구조 보존 & 상대적 위치 정보 고려해 학습
  2. 파라미터 공유 : 같은 필터로 이미지 전체 학습해 학습해야 할 파라미터 수가 줄어듬 (출력 뉴런에 영향을 미치는 범위가 제한적) ⇒ 전체 연산 효율 및 메모리 효율 높여줌
  3. 이동 불변성 : 같은 필터로 스캔하기 때문에 같은 패턴이 이미지의 다른 위치에 나타나더라도 동일한 패턴으로 인지 가능 ⇒ 일반화 능력 향상 & 적은 데이터로도 패턴 학습 가능
  4. 다단계 특징 학습 : 여러 층을 통해 단순한 특징부터 복잡한 패턴까지 학습 ⇒ 일반화 능력 향상
  연산량 비교 (빅오표기법)
  • CNN: O(N * k^2) (입력 크기와 필터 크기에 비례)
  • MLP: O(N^2) (모든 입력과 출력 간의 완전 연결로 인해 비효율적)
  *k = 필터 크기 (보통 3이나 5) / N = 입력 크기
• CNN 처리 과정 핵심 : 필터(커널)을 이용