AI+Industry

상관계수 상관계수는 공분산을 확률변수 각각의 표준편차값으로 나누어 정규화 (normalize)하여 정의한다. 확률변수의 상관계수는 다음과 같은 성질을 가진다. 두 확률변수간 상관관계가 있다는 말은, 두 확률변수의 값 중 하나를 알았을 때 다른 확률변수의 값에 대한 정보를 알 수 있다는 말이다. (비선형성 데이터도 하나의 값으로부터 나머지 하나에 대한 정보를 알 수 있다면 비선형성의 상관관계를 가졌다고 말할 수 있다. )

샘플 분산과 확률 분포의 분산 분산 분산은 확률분포의 모양에서 폭을 대표하는 값이다. 분산도 평균과 마찬가지로 수집 데이터에 대한 샘플 분산과 확률 분포에 대해 분산을 정의할 수 있다. 확률 분포의 분산 확률 함수 f(x)로 분포 전체의 모양을 정확하게 정의할 수 있으므로 다음과 같이 이론적인 분산을 구할 수 있다. 분산은 으로 표기하고 분산을 구하는 연산자는 으로 표기한다. 샘플 분산 수집한 데이터에 대한 샘플 분산은 다음과 같이 구한다. 위 식에서 구한 샘플 분산은 정확하게 말하면 편향 오차를 가진 편향 샘플 분산이다. 비편향 샘플 분산은 이다.

공분산 공분산 행렬의 의미 공분산 행렬은 데이터의 형태를 설명해주며, feature fair 가 얼마나 함께 변하는가를 행렬에 나타낸다. 행렬이란 선형 변환이고 하나의 벡터 공간을 선형적으로 다른 벡터 공간으로 mapping 하는 기능을 가진다. 공분산 행렬에 의해 mapping 되기 전 단계의 벡터 공간은 아래와 같다. 위와 같은 데이터 벡터에 대해 공분산 행렬을 곱해주면 어떤 일이 일어날까? 아래 그림을 보자. 고유 벡터(eigenvector)는 행렬의 선형변환이 작용하는 주축(principal axis) 방향을 나타내므로, 공분산 행렬의 경우 고유 벡터는 데이터들이 어떤 방향으로 분산되어 있는지를 표현해준다. 고유값은 고유벡터 방향으로 얼마의 크기로 벡터공간이 늘려지는지를 이야기한다. 즉, 우리가 ..

표본값과 기대값 기대값 기대값은 어떤 확률 변수를 디파인하던 그 확률 변수의 기댓값을 구하는 것이다. 표본값 반면 표본값은 확률 분포를 모르거나 또는 균일분포로 일어나는 확률 변수의 기댓값을 구하는 것이다.

확률 변수, 확률 분포, 확률 함수 확률 변수 우선 변수란 무엇일까? 변수 x는 특정 조건에 따라 변하는 값을 의미한다. 그렇다면 확률변수 x는 무엇에 따라 변하는 값일까. 특정 확률을 가지고 발생되는 각각의 사건에 따라 변하는 값이다. 확률 함수 확률변수에 의해 정의된 실수를 확률 (0 ~ 1) 에 대응시키는 함수를 말한다. 확률 분포 확률변수의 모든 값과 그에 대응하는 확률들을 공간상에 plot하는 것을 말한다. 표본공간 모든 사건들의 집합 상태공간 모든 개별 사건에 부여된 실수들의 집합

상호정보량 상호정보량은 두 확률변수의 상관관계를 측정한다. 만약 두 확률변수 x와 y가 독립이면 아래 식을 만족하고, 따라서 우변과 좌변의 kl-divergence 값은 0이 될 것이다. 이를 이용하여 상호정보량을 측정할 수 있다.

KL-divergence 쿨벡-라이블러 발산은 두 확률분포가 다른 정도를 정량적으로 나타내는 수치다. 확률분포가 같으면 0이고 다르면 양수 값을 갖는다. 이는 cross-entropy - entropy 으로 나타낼 수도 있다.

젠센 부등식을 이해하기 전에 먼저 볼록에 대해 알아보자. Convex Set 왼쪽의 그림을 볼록(convex)하다고 표현하고 오른쪽의 그림을 오목(concave)하다고 표현한다. 색칠된 영역을 평면에서의 집합으로 본다면, 왼쪽의 도형을 볼록 집합(convex set)이라 부르고, 오른쪽의 도형을 오목 집합(concave set)이라 부른다. 수식적으로는, 실수 집합 R 에 대한 vector space S에 대해 부분집합(C⊂S)인 집합 C가 아래를 만족해야 convex set이라 부른다. 직관적으로는, 0~1 사이값인 t에 따라 x와 y 사이의 직선 위 어딘가에 존재하는 어떤 임의의 값 또는 원소가 여전히 C 집합에 포함되어야 한다는 것이다. Convex Function 이러한 볼록은 함수와도 연관되어 ..