AI+Industry

EM for GMM Graphical Model for GMM을 통해 명시적으로 잠재변수 z를 도입하여 graphical model로 모델링하였다. 이제 이 graphical model에서 P(x,z) 결합확률 분포를 구할 수 있고 이를 marginalization해서 x에 대한 주변 확률 분포를 구할 수 있다. 이 페이지에서는 이 P(x)를 maximization 시키는 매개변수를 찾는 것이 목표이다. 하지만 미분을 통한 MLE 방법은 확률변수 z가 잠재되어 있어서 사용할 수 없고, EM 알고리즘을 사용해야 한다. 먼저 GMM을 이용한 classification은 주어진 데이터 x에 대해 이 데이터가 어떠한 Gaussian distribution에서 생성되었는지를 찾는 것이다. reponsibility..

Graphical Model for GMM GMM을 이용한 classification은 주어진 데이터 x에 대해 이 데이터가 어떠한 Gaussian distribution에서 생성되었는지를 찾는 것이다. 이를 위해서는 확률 변수를 정의하고 Graphical model를 그려야 한다. 먼저, 앞서 GMM 모델을 살펴보았다. GMM 모델에서 mixing coefficient는 k번째 정규분포가 전체 혼합 확률밀도 함수에서 차지하는 상대적인 중요도를 의미하고 mixing coefficient는 데이터가 k번째 정규분포에 assign될 확률변수로 볼 수 있다. 따라서 아래 두 조건을 만족해야 했다. 데이터가 k번째 정규분포에 assign되면 k번째 정규분포를 P(x|z)를 따라 확률값을 반환하고, 진짜 P(x)..

Gaussian Mixture Model 정규분포는 가장 널리 사용되는 분포이기는 하지만 Unimodal한 형태만을 표현가능하다는 제약이 있다. 따라서 일반적인 확률분포를 추정하기 위해서 보다 일반적인 형태의 확률모델이 필요한데, 여러 개의 가우시안을 혼합하여 만드는 가우시안 혼합 모델이 있다. 식은 아래와 같은데, 정규분포의 상대적인 중요도를 고려하여, 주어진 데이터 x에 대해 GMM은 x가 발생할 확률을 식과 같이 여러 Gaussian probability density function의 합으로 표현한다. 위 식에서 mixing coefficient는 k번째 정규분포가 전체 혼합 확률밀도 함수에서 차지하는 상대적인 중요도를 의미하고 mixing coefficient는 데이터가 k번째 정규분포에 ass..

Multinomial Distribution 다항분포는 여러 번의 독립적 시행에 대한 결합확률분포를 나타낸다. (참고로 여기서 뮤는 given random variable이 아니므로 정확히는 저러한 조건부 확률 표현에 문제가 있다고 생각한다. ) 또한 다항분포는 이항분포의 일반화된 버전이다. Multinomial Distribution의 MLE 추정 다항분포의 에 대한 MLE 를 구하기 위해서는 위의 such that 제약조건을 고려해야 한다. 따라서 최적화 form은 와 같고, 그러므로 아래 식을 최적화하면 된다. 1. 먼저 에 대해 미분하여 0이 되는 식을 구하고 2. 그 다음 에 대해 미분하여 0이 되는 식을 구하여 3. 최종적으로 아래를 구한다.

likelihood(우도) Evidence들이 주어졌을 때, 만일 주어진 가설이 참이라면, 그러한 evidence들이 나올 결합확률의 정도가 얼마냐 것이다. Maximum Likelihood estimation (최대우도추정) 관측된 데이터의 우도를 최대화하는 확률분포의 변수를 점 추정하는 것이다. · 어떤 확률분포 모델의 변수를 초기에 랜덤하게 또는 어떤 다른 방법으로 모델의 변수를 설정한 상태에서, 해당 변수를 업데이트하며 추정한다. · 로그가능도에 대해서 변수(모수)의 미분값이 0이 되도록 추정한다. Maximum A Posteriori (최대사후확률) 최대우도추정과 마찬가지로 관측된 데이터의 우도를 최대화하는 확률분포의 변수(모수)를 점 추정 하지만, 모수의 사전 확률의 정보까지 활용한다는 점에서..

Belief Propagation Potential function Initialization 우리는 처음부터 local joint probability를 알고 있지는 않다. local conditional probability table을 가지고 있다. 그래서 conditional probability를 이용한 첫 번째 방법으로 potential function을 먼저 정의한다. 그 후 local consistency가 맞춰져서 더 이상 값이 변하지 않을 때까지 propagation하는 것이 아이디어 이다. 예제 1. P(B)를 구하라. (사전에 주어진 probability table 에는 P(B|C) 등 conditional 형태들만 주어져 있을 것이다.) Step 2에서 프사이가 joint prob..

Absorption in Clique Graph 전 시간에 potential function을 이용하여 clique graph를 만들어보았다. 이제 이 clique graph에서 absorption이라는 오퍼레이션을 알아보자. 이는 데이터 스트런쳐를 정의하고 그 안에서 돌아갈 수 있는 알고리즘을 정의하는 것과 같다. 이 clique graph에서 potential function을 2번 째 방법으로 정의해보자. 그리고나면 아래와 같다. 여기서 P(B)는 서로 다르면 안된다는 성질이 있다. 따라서 이를 통해 belief를 propagation할 수 있다. 만약 P(A,B)에서 A가 관측이 되어서 P(A=1,B)로 바뀌었다면 위 potential function들도 줄줄이 바뀌어야 한다. 즉, observa..

Potential Functions belief가 propagation되어서 원하는 확률값들을 찾아내는 내용을 다루기 전에, potential function이라는 것을 정의하고 가자. 이는 앞서 알아본 factor와 같은 것이다. (즉, probability distribution function에서 정규화되지 않은 함수를 의미한다. ) clique란 전체 그래프의 서브 그래프인데, fully connected된 서브 그래프를 의미한다. 따라서 A,B가 clique이다. 그리고 clique 노드에서 공통으로 들어가 있는 것을 separator 또는 factor 라고 한다. 이를 통해 factor graph의 특별 케이스인 clique graph를 그릴 수 있다. 이 factor graph를 그리고 나서..