자료의 연관 (Cov, Corr) – 기초통계학

자료의 연관

2개의 변수 사이의 자료의 연관 성을 파악한다.

1. 범주형 자료의 연관 관계

교육수준과 결혼생활의 분할표

위와 같이 교육수준과 결혼생활의 분활표가 있다.

위 표를 기반으로 교육수준에 따른 결혼생활의 조건부 분포로 정의하면 아래와 같다.

반대로 결혼생활 만족도에 따른 교육수준의 조건부 분포로 변한을 하면 아래와 같다.

조건부 분포에서 각 고정된 변수의 범주별로 동일하면 두 변수는 독립이다. 위 표에서 고정된 변수는 결혼생활의 만족도로 “매우 원만함”, “원만함”, “원만하지 않음” 이 33% 값으로 동일하면 두 변수는 독립이다. 위 표와 같이 차이가 나면 연관성이 있을 가능성이 있다.

위 그래프는 교육수준에 대한 결혼생활 만족도를 나타내는 막대 그래프이고, 두 변수가 독립이라면, 동일한 패턴의 그래프로 나타난다.

2, 연속형 자료의 연관 관계

두 개의 연속형 확률변수 X와 Y에 대한 n개의 관측값 $(x_{1},y_{1}),(x_{2},y_{2})…(x_{n},y_{n})$ 으로 주어 졌다면 두 변수간 연관 관계를 확인 할 수 있다.

두 변수의 연관 관계를 확인 할 수 있는 그래프로는 산점도가 있다.

아래의 그래프는 33개국 인터넷 사용(X) 와 페이스 북 사용(Y) 의 산점도 그래프이다.

“인터넷 사용률이 적으면 페이스북 사용량도 적을 것이다”라는 가설을 전제하에 인터넷 사용과 페이스북의 사용이 상관관계가 있을까? 라는 계산을 할 수 있다.

그래프를 확인하면 인터넷 사용률이 크면 페이스북 사용량도 크다 라는 것을 그래프를 토대로 확인할 수 있다.

여기서 수치적으로 확인하기 위해 공분산을 사용할 수 있다.

– 공분산의 계산식

$S_{XY} = \dfrac{\sum_{i=1^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})}{n-1}$

$(x_{i}-\bar{x})$ 은 영역 1과 4에서는 양(+)의 값을 가지고 영역 2와 3에서는 음(-)의 값을 가진다.

$(y_{i}-\bar{y})$ 은 영역 1과 2에서는 양(+)의 값을 가지고 영역 3과 4에서는 음(-)의 값을 가진다.

$(x_{i}-\bar{x})(y_{i}-\bar{y})$은 영역 1과 3에 존재하는 관측값들의 숫자가 영역 2와 4에 존재하는 관측값들의 숫자보다 많으면 공분산은 양(+)의 값을 가지고 반대의 경우 음의 값을 가진다.

– 상관계수 계산식

각 변수를 표준화 한 후 계산한 공분산

$r_{XY} = \dfrac{\sum_{i=1}^{n}(\dfrac{x_{i}-\bar{x}}{S_{x}})(\dfrac{y_{i}-\bar{y}}{S_{y}})}{n-1}= \dfrac{\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y})}{\sqrt{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}\sum_{i=1}^{n}(y_{i}-\bar{y})^{2}}}$

여기서

$\bar{x} = \dfrac{1}{n}\sum_{i=1}^{n}x_{i}, s_{x} = \sqrt{\dfrac{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}}{n-1}}$

$\bar{y} = \dfrac{1}{n}\sum_{i=1}^{n}y_{i}, s_{y} = \sqrt{\dfrac{\sum_{i=1}^{n}(y_{i}-\bar{y})^{2}}{n-1}}$

으로 이 상관계수는 피어슨 상관계수(Pearson correlation coefficient)라 부른다.

– 상관계수 r의 성질

상관계수 값은 -1에서 1의 사이의 값을 갖는다. r의 값이 의미하는 것은 X와 Y간의 선형관계를 나타내는 측도이다. 비 선형 연관관계를 설명하는데는 부족하다. 강한 비선형 연관관계를 가지거나 r = 0 일 때의 산점도를 확인하면 아래와 같다.

r의 값이 양이면 양의 상관관계가 있고, 음이면 음의 상관관계를 가진다. r이 값에 $\pm1$에 가까워질수록 선형연관성의 강도는 높아지고 산점도의 점들이 직선 주위에 밀집되어 나타난다. r 값이 0에 가까워질수록 선형 연관성의 관계는 낮아진다. X가 aX+b로 바뀌고 Y가 cY+d로 바뀌어도 a와 c의 부호가 같으몀 r의 값에는 변함이 없다.

– 산점도의 모양에 따른 상관계수

3. 두 확률변수의 결합분포

두개 이상의 확률변수들이 서로 확률적 관계를 가지면서 관측될 수 있다. 아래의 예제를 보면 Y, Z의 확률변수는 동일한 확률 분포를 가진다.

예제)

서로 다른 동전 A,B,C를 던지는 실험에서 확률변수

Y와 Z 각각의 확률분포표

Y의 확률분포를 보면 동전 A,B를 던졌는데 두개 다 표면이다. 두개 다 표면의 확률은 $\dfrac{1}{4}$ 이고 Y가 1이 될 확률은 $\dfrac{1}{4}$ 이다.

Z의 확률분포를 보면 동전 B,C를 던졌는데 두개 다 표면이다. 두개 다 표면의 확률은 $\dfrac{1}{4}$ 이고 Z가 1이 될 확률은 $\dfrac{1}{4}$ 이다.

여기서 두개의 연속형 확률변수 Y와 Z의 분포는 같다고 하더라도 2개의 확률변수들을 동시에 고려할 때 X와 Y의 확률적 관계가 X와 Z의 확률적 관계와 반드시 일치하지는 않는다.

예제)

X 가0 이면  Y 는 무조건 0 이다.

X가0 이면(동전 A가 표변이 아닐 때) Z가 0일 확률은 $\dfrac{3}{4}$, Z가 1일(B,C가 모두 표면일 때) 확률은 \dfrac{1}{4}

즉 X의 기준으로 봤을 때 Y와 Z의 확률 분포는 완전히 달라진다.

– 두 확률변수의 결합분포(joint probability distribution)

두 개의 확률변수 X와 Y에 대하여, 수직선의 두 개의 부분집합 A,B에 대하여 확률 $P(X\inA, Y\inB)$ 를 대응시켜주는 관계

– X와 Y의 결합확률질량함수(joint probalility mass function)

두 이산확률변수 X와 Y가 각각 $x_{1},x_{2},…$와 $y_{1},y_{2},….$의 값을 취할 때, $(x_{i},y_{j}), i,j=1,2……$ 각각에 대하여 $P(X=x_{i},Y=y_{i})$를 대응시켜주는 관계

$f(x,y) = \begin{cases}P(X=x_{i},Y=y{i}) & \mbox{if} X=x_{i}, Y=y{i} \\0 & \mbox{otherwise} \end{cases}$

– 결합확률질량함수의 성질 : 이상확률변수 X와 Y의 결합확률질량함수

$f(x_{i},y_{j}) = P(X=x_{i}, Y=y_{j})$에 대하여

$f(x_{i},y_{j}) \ge 0, \sum_{i=1}^{\infty}\sum_{j=1}^{\infty}f(x_{i},y_{j}) = 1$

$P(a <X \le b, c<Y\le d) = \sum_{a<x_{i}\le b}\sum_{c<y_{i}\le d}f(x_{i},y_{j})$

– X와 Y의 결합확률분포는 이들의 결합확률질량함수에 의해 결정됨, 이를 결합확률분포표로 나타내면 편리하다.

예제)

X 와 Y의 결합확률분포료

X가 0이면서 Y가 0일 확률만 보면 X가 0일 확률은 $\dfrac{1}{2}$이다.  X가 0이면 Y는 자동적으로 0이다.

열의 합을 보면 X의 확률질량함수 P(X) 가 되고 행의 합을 보면 Y의 확률질량함수 P(Y) 가 된다.

X와 Z의 결합확률분포표

X=1,  Z=1 이 될 확률은 X가 앞면이 나올 확률은 $\dfrac{1}{2}$ 이고 동전B와 C가 앞면 $\dfrac{1}{2} \times \dfrac{1}{2}$ 이 되어야 한다.

– X의 주변확률질량함수(marginal probability mass function) : $\sum_{j=1}^{infty}(x_{i),y_{j})$

– Y의 주변확률질량함수(marginal probability mass function) : $\sum_{i=1}^{infty}(x_{i),y_{j})$

의 식으로 주변확률질량함수를 구할 수 있고, 위 X,Y의 결합확률 분포표에서 Z의 주변확률 질량함수 $\dfrac{3}{4}, \dfrac{1}{4}$이고 X의 주변확률 질량함수 $\dfrac{1}{2} \dfrac{1}{2}$ 이다.

예제:

하나의 주사위를 던져서 나온 눈에 따라 상금이 걸린 게임

X :

1 또는 2가 나오면 100원

3 또는 4가 나오면 200원

5 또는 6이 나오면 300원

Y:

짝수가 나오면 100원

홀수가 나오면 (눈의 수 $\times$ 100) 원

해석 : Y가 100원이 될 값은 주사위값이 1,2,4,6 이 나오면 100원이다. Y 가 100일 때 행의 값이 $\dfrac{4}{6}$ 이다.

X가 100원이 되려면 주사위가 1,2 가 되어야 하고 Y가 100이 되려면 주사위는 1,2,4,6이 되어야 하는데 두개 같이 100원이 되어야 하고 주사위는 한번 던졌을 기준이라 1,2 가 되어야 한다.

X가 200원이 되려면 주사위 3,4 가 되어야 하고 Y가 100이 되려면 수사위는 1,2,4,6 이 되어야 한다. 주사위가 4가 나와야 동시에 X는 200원 Y는 100이 된다.

– 두 확률변수의 함수도 확률변수이다.

예제)

A와 B의 수입의 합 Z의 분포

– 두 이산 확률변수의 함수의 기대값

두 확률변수 X,Y의임의의 함수 $U_{1},U_{2}$ 에 대하여

$E[U(x,y)] = \sum_{i=1}^{\infty}\sum_{j=1}^{\infty}U(x_{1},y_{1})f(x_{y},y_{1})$

$E[c_{1}U_{1}(x,y)+c_{2}U_{2}(x,y)] = c_{1}E[U_{1}(x,y)] + c_{2}E[U_{2}(x,y)]$

공분산과 상관계수

기대값이 각각 $\mu_{X}, \mu_{Y}$ 인 두 확률변수 X,Y에 대하여

공분산은 $Cov(X,Y) = E[(X-\mu_{X})(Y-\mu_{Y})]$

상관계수 $Corr(X,Y) = \dfrac{Cov(X,Y)}{sd(X)sd(Y)}$

C0v(X,Y) = E[XY] – E[X]E[Y} 로 계산 할 수 있다.

(증명)

$Cov(X,Y) = E[(X-\mu_{X})(Y-\mu_{Y})]$

$= E[XY – X\mu_{Y} – \mu_{x}Y + \mu_{X}\mu_{Y}]$

$= E[XY]-E[X]\mu_{Y} – \mu_{X}E[Y] + \mu_{X}\mu_{Y}$

$= E[XY]-E[X]E[Y] – E[X]E[Y] + E[X]E[Y]$

$= E[XY] – E[X]E[Y]$

– 공분산과 상관계수의 성질

$Cov(aX+b,cY+d) = acCov(X,Y)$

$Corr(aX+b,cY+d) = \begin{cases}Corr(X,Y) &\mbox{if} ac>0 \\ -Corr(X,Y) &\mbox{if} ac<0 \end{cases}$

(증명)

– 두 확률변수의 합의 분산

$Var(X+Y) = Var(X) + Var(Y) + 2Cov(X,Y)$

$Var(X-Y) = Var(X) + Var(Y) – 2Cov(X,Y)$

(증명)

두 확률변수의 독립성

– 두 확률변수 X와 Y의 결합분포에서 모든(x,y) 에 대하여 $f(x,y) = f_{1}(x)f_{2}(y)$ 가 성립할 때, X와 Y는 서로 독립이라 한다. X와 Y가 서로 독립이 아니면 서로 종속이라고 한다.

예제)

하나의 동전을 세번 던질 때 X=처음 두번에서 나오는 표면의 개수, Y=세 번째에서 나오는 표면의 개수

모든 (x,y)에 대하여 $f(x,y)=f_{1}(x)f_{2}(y)$ 가 성립한다. 따라서 X와 Y는 서로 독립이다.

– 두 확률변수가 서로 독립인 경우

$E(XY) = E(X)E(Y)$

$Cov(X,Y)=Corr(X,Y) = 0$

$Var(X \pm Y) = Var(X) + Var(Y)$