🔸Expectation Maximization 알고리즘

• 기댓값과 최대화 기법을 활용하여 모수를 추정하는 알고리즘
• EM 알고리즘에도 여러 종류가 있다.

🔸가정

$$ f(\bold{x}j,\Theta)=\sum{p=1}^k\alpha_pf_p(\bold{x}_j,\Theta_p) $$

• $f(\cdot)$ : 확률 밀도 함수(PDF)
• $f_p(\cdot)$ : p번째 mixture의 PDF
• $\Theta_p=\lbrace \mu_p,\sigma_p\rbrace$ : p번째 mixture의 확률 분포의 모수(평균, 표준편차)
• $\alpha_p$ : p번째 mixture에 대한 가중치
• $\Theta=\lbrace\alpha_1,\alpha_2,\cdots,\alpha_k,\Theta_1,\cdots,\Theta_k\rbrace$ : parameter vector. p번째 가중치와 모든 mixture의 모수를 의미
• $k$ : mixture의 개수
• $\bold{x}_j$ : data vector, 특정 확률변수(데이터 포인트) 1개

🔻모수 추정

🔸추정하고자 하는 것

• $\Theta$ (parameter vector) 를 추정하고자 한다.

• 확률변수가 어떤 분포에 속하는지를 추정하고자 한다.

  $$ \tau_p(\bold{x}_j,\Theta)=P(\Theta_p|\bold{x}_j)=\frac{\alpha_pf_p(\bold{x}_j,\Theta_p)}{f(\bold{x}_j,\Theta)} $$

  • $\tau_p(\bold{x}_j,\Theta)$ :$\tau_p(\bold{x}_j,\Theta)$$x_j$가 p번째 분포에서 발생했을 사후확률
    • 만약 전체 mixture의 개수(k)가 3이라면, $\bold{x}_j$는 $\tau_1(\bold{x}_j,\Theta)와~\tau_2(\bold{x}_j,\Theta)와~\tau_3(\bold{x}_j,\Theta)$중 가장 큰 (확률)값의 p에 속한 것으로 추정할 수 있다.

🔸모수 추정 알고리즘

• MLE

  🔻MLE (Maximum Likelihood Estimation) - 최대우도법