🔻EfficientNet

🔸MBConv Block

• Mobile inverted Bottleneck Convolution (MBConv)

  • Depthwise Separable Convolution = Depthwise conv + Pointwise conv

    • 아이디어: spatial한 정보와 channel별 정보를 convolution 연산에서 분리시키고자 했다.

    • Depthwise conv : Channel 별로 convolution 연산을 서로 독립적으로 진행하여 마치 HxWxC 채널을 HxWx1 채널을 C번 연산하는 것과 같다. → 서로 다른 채널의 정보가 영향을 끼치지 않는다 = Spatial 정보만으로 특징을 추출하고 있다.

      

      [kernel academy - CV Basic]

    • Pointwise conv : 기존의 1x1 convolution layer 연산과 동일 → 채널별 정보를 취합한다.

      

  • Squeeze and Excitation : Feature를 압축했다가 증폭하는 과정을 통해 Feature의 중요도를 재조정하는 기법

    

    [[1709.01507] Squeeze-and-Excitation Networks]

    • Depthwise separable convolution이 성능-파라미터의 trade-off에서 파라미터 효율성을 택했기 때문에 Depthwise separable convolution 모듈을 추가로 조정하기 위해 squeeze and excitation으로 feature 중요도 정보를 반영한다.
    • $F_{tr}$ : Depthwise separable convolution module → 결과가 U tensor (C, H, W)
    • Squeeze : Global Average Pooling을 적용하여 feature map을 (1, 1, C) 크기로 압축한다. ⇒ 각 채널의 중요한 정보만 담고 있다.
    • Excitation : 2개의 Fully-Connected Layer를 통과하여 각 채널들의 중요도(=score)를 추출한다. ⇒ 이를 기존의 Feature map에 곱해줌으로써 채널의 중요도가 학습된 feature map을 생성할 수 있다.
      • score extraction : input(1,1,C) → FC-layer(C, hidden_dim) → FC-layer(hidden_dim, C) → ReLU → sigmoid

🔸Experiments

• baseline EfficientNet의 크기를 어떻게 키워야 효율적일지를 실험

  • d(depth) : baseline EfficientNet의 layer 깊이를 1이라 했을 때 d=2면 깊이를 2배 늘린 것이다.
  • r(resolution) : 마찬가지로 baseline을 1이라 했을 때 다른 모델의 resolution 비율
  • d=1, r=1 ⇒ 18 conv layers & 224x224 resolution

  ⇒ depth와 resolution을 늘릴수록 정확도가 향상되었다. = Resolution이 높을수록 더 큰 Receptive field가 필요하고 high frequency information 정보를 반영하기 위해 더 깊은 모델, 더 넓은 Channel을 갖는 모델의 성능이 좋다.

  ⇒ Resolution, Depth, Channel Width 3가지 모두 scale up하는 것이 가장 효율적.

• Compoun Scaling

  • Resolution, Depth, Channel Width 각각에 대한 실험 → 하나씩만 조절하며 실험하면 결국 어느정도 수준에서 더이상 성능 증가가 없다. 결국 세 가지 요소를 모두 증가시켜야 가장 효과가 크다.

    

  • Individual Scaling : 깊이(d), Channel 넓이(w), 해상도(r)을 각각 독립적으로 scaling

  • Compound Scaling : 깊이(d), Channel 넓이(w), 해상도(r)을 동시에 scaling

    $$ d=\alpha^\phi \\w=\beta^\phi \\r=\gamma^\phi \\\text{s.t.}\quad \alpha\cdot \beta^2\cdot\gamma^2\approx 2 (\alpha\ge1\beta\ge1\gamma\ge1) $$

    • $\phi$ (상수) : Compound Coefficient. d,w,r을 균일하게 증가시키는 compound 계수

    • s.t. (제약 조건) : $\alpha\cdot \beta^2\cdot\gamma^2$ 가 2에 근사하도록 alpha, beta, gamma 값을 정해야 한다.

      ⇒ Compound Scaling을 하면 $\phi$ (상수)가 1씩 증가할 때마다 모델 파라미터 개수가 2배씩 늘어난다.

    • 논문

      1. baseline의 phi를 고정하고 $\alpha\cdot \beta^2\cdot\gamma^2\approx 2$ 를 만족하는 alpha, beta, gamma를 구했다. → $\alpha=1.2, \beta=1.1,\gamma=1.5$
      2. 이제 alpha, beta, gamma를 고정하고, $\phi$를 증가시키며 depth, width, resolution을 scaling up 했다.

  • 결과

    

    

Zotero Notes