◾생성 모델과 MLE

• 🔻MLE (Maximum Likelihood Estimation) - 최대우도법

🔸생성 모델의 학습

• 실제 데이터의 분포 $P_{data}$ 와 모델의 분포 $P_{\theta}$ 를 가깝게 학습해야 한다.

  ⇒ KL divergence 를 최소화하면 된다.

  • KL divergence = 두 분포 간의 차이

  🔸KL divergence (Kullback-Leibler divergence)

  • KL divergence의 최적화: 수식에서 모델의 파라미터에 영향을 미치는 부분만 남기면 Cross Entropy와 동일해진다. Cross entropy를 최소화하는 것은 likelihood를 최대화하는 것과 같은 문제이다.

• 그러나 데이터의 정확한 분포를 알 수 없기 때문에 KL divergence를 바로 적용하는 것은 어렵다. 따라서 생성 모델들은 이런 문제를 해결함으로써 데이터의 분포를 추정한다.