◾정의

• Semantic segmentation: Pixel-wise로 각각의 Class를 예측하여 물체 Category 별로 분할

  • Category: 각 픽셀의 Label 예측

  

• Semantic Segmentation 의 종류

  

  • Instance Segmentation : 같은 class여도 서로 다른 객체로 분류
  • Panoptic Segmentation = Semantic + Instance Segmentation

◾주요 데이터셋

• KITTI
  • 차량 주행중 촬영된 자동차 및 사물 이미지 데이터
  • Semantic Label이 있는 200개의 Train Set과 200개의 Test Set으로 구성
• Cityscape
  • 도시 거리 장면 이미지 데이터
  • 50개의 도시의 다양한 시간/계절/날씨를 촬영한 장면 내의 30개의 물체(Class)
  • Classes: Group 기준 Flat road, Human, Vehicle, Construction, Object, Nature, Sky, Void 등
  • 5,000장의 이미지 Annotation (Fine-annotation 기준)
• Pascal VOC
  • 시각 객체 클래스 인식을 위한 20개의 사물 클래스 이미지 데이터
  • 2012년 데이터 기준 11,530개의 이미지와 6,929개의 Segmentation Annotation

◾성능 평가 방법

🔸Pixel-wise IoU

• TP : GT와 겹치는 Prediction
• FP : GT가 아닌데 Prediction에 있는 부분
• FN : GT인데 아예 Prediction에 없는 부분

◾Semantic Segmentation 방법론

🔻CNNs

🔸Sliding window

• 하나의 픽셀의 class를 예측하기 위해 특정 크기의 window만큼 CNN에 입력하여 class를 예측하는 방법

  

• 문제점

  1. 픽셀 주변의 정보밖에 고려하지 못한다.
  2. 많은 패치가 중복되는 영역을 처리하기 때문에 비효율적이고, 각 픽셀마다 CNNs 연산이 이루어지므로 비용 증가.

🔸Size Preserving CNNs

• Stride, Padding값을 조절하여 Convolution Layer의 출력이 입력 size를 유지하도록 하는 CNNs이다.

  e.g. stride=1일 때, $\text{padding}=\frac{\text{Filter size}-1}{2}$ 이면 feature map의 크기가 input size와 같아진다.

  

• 문제점

  1. Padding의 크기가 커지면서 무의미한 receptive field를 참고하는 경우가 많아진다.

🔸Downsampling + Upsampling