◾Neck의 필요성

🔸Neck 이란?

• Object Detection에서 다양한 크기의 물체를 더 잘 탐지하기 위해 보완된 구조
  • FPN, PANet, DetectoRS, BiFPN, NasFPN, AugFPN
• 고정된 해상도의 feature map으론 다양한 크기의 객체를 동시에 처리하는 것에 어려움을 느낌.
• CNN에서 여러 layer에서 추출되는 feature map들은 각각의 level에 따라 다양한 크기의 모양을 탐지하는 데 효과적.
  • Early Layers : 작은 객체, low-level feature 탐지
  • Later Layers : 큰 객체나 high-level feature 탐지

⇒ Neck : 여러 Layer에서 추출된 feature map을 함께 사용하는 구조

◾Neck의 종류

🔻Neck 이전의 기존 방법론

🔸Featurized Image Pyramid

• 이미지를 여러 scale로 변환하여 feature map을 생성하고 네트워크에 각각 입력하여 feature map을 추출하는 방법

  • 다양한 scale에 대응할 수 있으나 scale 변환 횟수만큼 연산이 필요.

  

🔸 Pyramidal Feature Hierarchy

• 단일 이미지만 사용해 feature map을 추출하는 방법. 각 feature map level에서 추론을 수행하고 결과를 종합하는 방식

  • feature map 간에 연결이 없기 때문에 각 feature map을 독립적으로 사용. 서로 다른 level의 feature를 참고하지 못하기 때문에 성능이 별로.

  

🔻FPN (Feature Pyramid Network)

🔸FPN

• Bottom-up pathway : 단일 이미지에서 forward-pass하며 해상도가 작아지는 feature map을 추출하는 과정
• Top-down pathway : Lateral Connection을 통해 상위 level의 feature map을 하위 level의 feature map과 동일한 해상도로 맞추는 과정

🔸Lateral Connection