티스토리 뷰

기계학습

Multinomial Distribution

나주배 2019. 10. 21. 15:24

 

Multinomial Distribution

다항분포는 여러 번의 독립적 시행에 대한 결합확률분포를 나타낸다. (참고로 여기서 뮤는 given random variable이 아니므로 정확히는 저러한 조건부 확률 표현에 문제가 있다고 생각한다. ) 또한 다항분포는 이항분포의 일반화된 버전이다.

 

Multinomial Distribution의 MLE 추정

다항분포의

에 대한 MLE 를 구하기 위해서는 위의 such that 제약조건을 고려해야 한다. 따라서 최적화 form은

와 같고, 그러므로 아래 식을 최적화하면 된다.

1. 먼저

에 대해 미분하여 0이 되는 식을 구하고

2. 그 다음

에 대해 미분하여 0이 되는 식을 구하여 

3. 최종적으로 아래를 구한다. 

 

'기계학습' 카테고리의 다른 글

Graphical Model for GMM  (0) 2019.10.22
Gaussian Mixture Model (GMM)  (0) 2019.10.22
MLE (최대우도추정)  (0) 2019.10.21
Belief Propagation  (0) 2019.10.18
Absorption in Clique Graph  (0) 2019.10.18