Covariance

What is Covariance?

$Cov = E[(X-\mu_X)(Y-\mu_Y)]$

위와 같은 식으로 계산되는 값을 X,Y의 covariance(공분산)이라고 한다.

 

위 식을 직관적으로 해석해보면, 두 개의 확률 변수 X,Y에 대해,

X의 평균으로 부터의 편차와 Y의 평균으로 부터의 편차의 곱에 대한 기댓값으로 해석할 수 있는데,

 

이를 X,Y를 축으로 하는 2차원 평면에서 생각해보면, (x,y)쌍을 이루는 한 점이 평면 위에서 어떤 추세를 갖는지에 따라

값이 결정되는지를 의미한다는 것을 상상해 볼 수 있다.

 

첫번째 그래프에서는 우하향하는 (x,y)의 추세를 볼 수 있는데, 이는 x가 커지면 y가 작아지고, y가 커지면 x가 커지는 음의 관계를 띄고 있다. 이를 위의 Covariance계산 식에 대입해보면,

 

x의 값이 커질수록(X의 편차가 양수) y의 값이 작아지고(Y의 편차가 음수), x의 값이 작아지면(X의 편차가 음수) y의 값이 커지게 되므로(Y의 편차가 양수), $Cov = E[(X-\mu_X)(Y-\mu_Y)] < 0$ 으로 정리할 수 있다.

 

반대의 경우(양의 공분산)도 마찬가지이지만, 공분산이 0인 경우는 조금 다른데, 공분산이 0이라고 해서 X,Y간의 상관관계가 존재하는 것은 아니고, 양/음의 관계, 즉 선형적인 관계를 갖지 않을 뿐 비선형적인 관계를 가질 수도 있고 관계가 없을 수도 있다.

Covariance Matrix

위 개념을 확장시키게 되면 Covariance Matrix를 구할 수 있는데, N개의 확률 변수가 존재할 때, 이 중에서 2개의 변수 간의 covariance를 matrix로 표현한 것이 Covariance Matrix이다.

$C_{ij} = E[(X_i-\mu_{X_i})(X_j-\mu_{X_j})]$

 

여기서, $i = j$의 경우에는, 동일한 확률변수에 대해서 covariance를 구하게 되는 것이고, 이는 즉

$E[{(X-\mu_X)}^2] = Var(X)$, 하나의 확률 변수에 대한 분산을 의미한다.