[BITAmin DL] Session 3.1 - DL Basics 7 (CNN)

Joonseok Lee

CNN의 시초 논문

”Backpropagation applied to handwritten zip code recognition” - Y. Lecun et al. 1989.

“Imagenet classification with deep convolutional neural networks” - A. Krizhevsky et al. 2012.

◾CNN의 등장배경과 이미지 데이터 특징

• CNN의 등장배경
  • 기존 fully-connected layer의 장단점
    • 장점 : 모든 neural node가 연결되어 있다. → 모든 정보가 서로 연결되어 정보 예측이 용이하다.
    • 단점 : 현실의 데이터는 모두 연결될 필요는 없고, 그럴 경우 overfitting의 위험이 존재.

🔸Image Data

• Image data의 특징

  • Gray Scale (흑백 사진) : $H\times W\times 1$

    • channel이 없지 않다!!! height, width, 1 channel 로 구성되어 있다.

  • Color Image (컬러 사진) : $H\times W\times C$

    

    • hight, width, 3 channel로 구성되어 있다.
    • channel의 종류로는 RGB, LAB, HSV 가 있다.

+) PyTorch에서의 이미지 데이터 표현

• CV 분야에서의 표현 : H x W x C
• PyTorch에서의 표현 : C x H x W (HW는 동일)

🔸Image Data with FCNN

• FC layer 에서 이미지 데이터 : 2차원의 이미지 데이터를 1차원으로 flatten 하여 모든 pixel 에 가중치를 부여하게 된다.

  → 학습 데이터에 조금만 변화를 주어도 예측 성능이 크게 변동한다. = 과적합을 의미.

🔸CNN의 아이디어

• 인간이 이미지를 인식할 때 뇌의 일부분만 활성화된다는 실험 결과를 바탕으로 등장
• Convolution 연산을 통해 위치 정보를 유지한 채로 특정 pattern을 찾음. (위치별 pattern)

🔸Convolution (합성곱 연산)

• 두 함수 $f,g$ 가운데 하나의 함수를 반전(Reverse), 전이(Shift)시킨 후 다른 하나의 함수와 곱한 결과를 적분하는 연산이다.

  • 서로 독립인 두 확률변수의 확률분포 합을 구할 때 사용한다.

  $$ (f*g)(t) \overset{\mathrm{def}}{=}=\int_{-\infin}^{\infin}f(\tau)g(t-\tau)d\tau $$

  • $\tau\rightarrow -\tau$ : 좌우 반전 (reverse)
  • $-\tau\rightarrow t-\tau$ : t만큼 오른쪽으로 이동 (shift)
  • g 함수를 좌우 반전 + t만큼 이동시킨 후 f 함수와 곱하고, 적분한다.
  • sliding window

◾CNN Structure

🔻Convolution Layer ⭐