[머신 러닝] 가우시안 혼합 모델(Gaussian Mixture models) - 컴도리돌이

 

Mixture models

 

전체 모집단 내 하위 모집단의 존재를 나타내는 확률론적 모델. 즉 여러 개의 분포가 혼합되어 있는 모델이다.

 

GMM(Gaussian Mixture models)

 

군집화된 모델의 개수(k) = 3

 

가우시안 혼합 모델은 여러 개의 가우시안 분포가 혼합된 clustring 알고리즘이다. 현실에 존재하는 복잡한 분포들을 k개의 가우시안 분포를 혼합하여 표현을 한다. 

 

여러개의 가우시안 확률 밀도 함수의 합을 표현하는 식

 

 

mixing coefficient는 k번째 가우시안 분포가 선택될 확률을 나타낸다.

---

EM for Gaussian mixture

 

 

주어진 데이터 Xn에 대하여 데이터가 어떠한 가우시안 분포가 생성되는지 찾기 위해 responsibility r(ik)를 다음과 같이 정의하였다. Xn에 따른 GMM의 k번째 가우시안 분포가 선택되면 1, 아니면 0의 값을 갖는다. r(ik)가 1이라는 것은 Xn이 k번째 가우시안 분포에서 생성되었다는 것을 의미한다. 

 

 

 

가우시안 혼합 분포(GMM)를 통해 Xn이 주어졌을 때, k개의 r을 계산하여 가장 높은 가우시안 분포를 선택한다.

 

E-step 

 

resposibilities r(ik)를 계산한다.

 

M-step 

π , μ , Σ 를 재 측정 해준다.

<EM - example>

EM for gaussian mixture