Deep Residual Learning for Image Recognition

🔻ResNet

깊은 레이어를 사용하지 못했던 이유는 ‘과적합’이 아니라 ‘학습’이 이루어지지 않았기 때문이다. 즉, 최적화가 잘 되지 않았기 때문이라는 가설이 등장했다.

→ residual connection 없이 깊은 레이어를 갖는 deep plain model는 train error, test error 모두 높았으므로 과적합이 문제가 아니었다.

[kernel academy - CV Basic]

Plain block

[kernel academy - CV Basic]
- 모델을 나타내는 함수 F(x)가 H(x)라는 함수로 최적화되어야 한다고 가정하자. → $F(x)=H(x)$
- 일반적으로 딥러닝에서 F=H여서, H(x)를 직접 학습하려고 한다. 그러나 이는 vanishing gradient 문제로 레이어가 깊어지면 학습이 잘 이루어지지 않는다.
Residual block

[kernel academy - CV Basic]
- 마찬가지로 $F(x)+x = H(x)$ 로 최적화를 진행한다.
- 이때, ResNet의 의도는 $x = H(x)$가 실제 학습의 목표이고 $F(x)$가 잔차이다.
  
  이를 통해, 입력만으로도 최적화 함수(정답)에 가깝게 되면 학습할 필요가 없고, 그렇지 않다면 잔차인 F(x)를 통해 조금의 학습을 진행한다.
- 그래서 Residual block의 목표는 F(x)=0이 되어, x = H(X) 즉 입력이 곧 정답이 되는 것.
  
  ⇒ $F(x)\rightarrow 0$ 으로 근사하는 쉬운 문제가 된다
- Shortcut Connection : 추가적인 파라미터 없이, 덧셈 연산으로 이루어져 있기 때문에 복잡한 순전파/역전파 연산이 없다.