◾판별 모델의 평가 지표

🔻판별 모델의 출력값이 범주형 데이터인 경우

🔸Accuracy

$$ Accuracy = \frac{TP+TF}{TP+TF+FP+FN} $$

🔸Precision

$$ P=\frac{TP}{TP+FP} $$

🔸Recall

$$ R=\frac{TP}{TP+FN} $$

🔸F1-score

$$ F1=2\cdot\frac{P\times R}{P+R} $$

🔻판별 모델의 출력값이 연속형 데이터인 경우

• MSE, MAE, RMSE 등의 지표를 사용
• 데이터 값의 범위가 달라지는 경우 R-squared, Correlation Coefficient 등의 지표를 추가 도입.

◾생성 모델의 평가 지표

• 생성 모델의 결과를 평가하기는 어렵다.
  • 정답(label)이 존재하지 않는 경우가 대다수이다.
• 사람을 활용한 평가 방식이 초반에 사용되었다.

🔸IS (Inception Score)

• ImageNet을 사전 학습한 모델(e.g. Inception v3)을 분류기로 사용하여 GAN을 평가하기 위해 고안된 지표이다.

• 예리함(sharpness), 다양성(diversity) 2가지를 주요하게 고려한다.

  

  [https://deepgenerativemodels.github.io/2019/assets/slides/cs236_lecture13.pdf]

• Entropy 관점에서 지표를 설명할 수 있다.

  • entropy 계산에는 ‘확률’이 필요하고, 분류기 모델은 클래스에 대한 예측 확률을 출력하기 때문에 사전 학습된 분류기를 IS 평가에 활용하게 된다.

  • Sharpness : 분류기의 예측 확률이 하나의 클래스에 집중되어 있을 수록 좋은 지표이다. 즉, entropy가 낮을수록 좋다.

    $$ \operatorname{sharpness}(x)=\sum_y p(y|x)\log p(y|x) $$

  • Diversity : 모든 이미지가 같은 클래스만 생성하면 diversity는 낮아지고, 모든 클래스가 균등하게 나타나면 diversity는 높아진다.

$$ p(y)=\mathbb{E}_x[c(y|x)] \cdots\text{marginal distribution} $$

• Metric

  $$ IS=S\times D=\exp(\mathbb{E}{x\sim p_g}[D{KL}(p(y|x)||p(y))]) $$

  • KL divergence에 의해 sharpness의 entropy는 작아지고, diversity의 entropy는 커지게 된다.

• 한계

  • ImageNet에 존재하지 않는 클래스에 대해서는 평가가 불가하다.
  • 같은 class 내에도 다양성이 존재하는데(같은 사람이라도 서로 다름), 그런 다양성은 평가가 불가하다.
  • IS 가 높은 데이터를 생성하면 계속 같은 데이터를 생성하는 model collapse 현상이 발생.
  • Gradient based 공격, replay 공격 등 점수 조작이 쉬움

🔸FID (Frechet Inception Distance)