수리통계 – 기댓값

1. 기댓값

1) 정의

각 사건이 벌어졌을 때의 이득과 그 사건이 벌어질 확률을 곱한 것을 합한 값이다.

$\begin{cases}
\sum_{x_{i}}x_{i}f(x_{i})\\
\int_{-\infty}^{+\infty}xf(x)
\end{cases}$

2-1) 예제 1

<이산형>

이산형 확률 변수 X의 확률밀도 함수 f(x)

$f(x) = \begin{cases}
\frac{1}{8}, \ x=0 \\
\frac{3}{8}, \ x=1 \ or x=2 \\
\frac{1}{8}, \ x =3
\end{cases}$

$E(x) = 0 * \frac{1}{8} + 1 * \frac{3}{8} + 2 * \frac{3}{8} + 3 * \frac{1}{8} = \frac{3}{2}$

2-2) 예제 2

<연속형>

확률밀도 함수 $f(x) = frac{x^{3}}{9}$

$E(x) = \int_{0}^{3}\frac{x^{3}}{9}dx$

$= \frac{x^{4}}{36} |_{0}^{3} = {9 \over 4}$

2-3) 예제 3

확률 밀도 함수 $f(x) = xe^{-x}$

$E(x) = \int_{0}^{\infty}x^{2}e^{-x}dx$

$= -x^{2}e^{-x}|_{0}^{\infty} + \int_{0}^{\infty}2xe^{-x}dx = 2$

 

2. 기댓값의 성질

<정리 1>

확률변수 X의 확률밀도함수가 f 일 때, 실수 값 함수 g(x)에 대하여

$\begin{cases}
\sum_{x}g(x)f(x)\quad\quad\quad (X가 이산형)\\
\int_{-\infty}^{+\infty}g(x)f(x)dx\quad\ \  (X가 연속형)
\end{cases}$

가 실수로 정의 되면 그 값을 g(X)의 기댓값이라 하고, 기호로는 E[g(x)] 로 나타낸다.

E[g(X)] = $\begin{cases}
\sum_{x}g(x)f(x)\quad\quad\quad (X가 이산형)\\
\int_{-\infty}^{+\infty}g(x)f(x)dx\quad\ \  (X가 연속형)
\end{cases}$

예제)

$f(x) = xe^{-x} (x>0)\ 일때\ g(x) = x^{2} + 5$ 의 기댓값은?

$E(x^{2}+5) = \int_{0}^{\infty}(x^{2}+5)f_{X}(x)ds$

$= \int_{0}^{\infty}x^{3}e^{-x}dx + \int_{0}^{\infty}5xe^{-x}dx$

$= -x^{3}e^{-x}|_{0}^{\infty} + \int_{0}^{\infty}3x^{2}e^{-x}dx + \int_{0}^{\infty}5xe^{-x}dx$

$= -x^{3}e^{-x}|_{0}^{\infty} – 3x^{2}e^{-x}|_{0}^{\infty} + \int_{0}^{\infty}6xe^{-x}dx + \int_{0}^{\infty}5xe^{-x}dx = 11$

<정리 2>

$E(x) = c$
$E(ax+b) = aE(x)+b$

증명)

$E(x) = \int_{-\infty}^{+\infty}cf(x)dx = c\int_{0}^{\infty}f(x)dx = c$

$\because \int_{0}^{+\infty}f(x)dx = 1$

$E(ax+b) = \int_{-\infty}^{+\infty}(ax+b)f(x)dx$

$= a\int_{-\infty}^{+\infty}xf(x)dx + b\int_{-\infty}^{+\infty}f(x)dx$

$= aE(x) + b$

예제)

$f(x) = \begin{cases}
\frac{1}{8}, \ x=0 \\
\frac{3}{8}, \ x=1 \ or x=2 \\
\frac{1}{8}, \ x =3
\end{cases}$

일때 8X+5 의 기댓값은?

$E(x) = \frac{3}{2}$

$E(8X+5) = 8E(x) + 5 =  8 * \frac{3}{2} + 5$

<정리 3 – 다변량>

n개의 확률변수 $x_{1}, x_{2}, …. , x_{n}$ 의 함수 $g(x_{1},x_{2}….x_{n}) $의 기댓값 $E[g(x_{1},x_{2}…,x_{n})] $ 은 ?

결합확률밀도 함수가 $f(x_{1},x_{2},….,x_{n})$ 일때

$E[g(x_{1},x_{2}…,x_{n})] = \begin{cases}
=\sum_{x_{1}}..\sum_{x_{n}}g(x_{1},x_{2}..x_{n})f(x_{1},x_{2},…,x_{n})\\
=\int_{-\infty}^{+\infty}…\int_{-\infty}^{+\infty}g(x_{1},x_{2}..x_{n})f(x_{1},x_{2},…,x_{n})dx,…,dn\\
\end{cases}$

E(aX + bY) = aE(x) + bE(Y)

$E(a_{1}X_{1}+a_{2}X_{2}+…+a_{n}X_{n}) = a_{1}E(X_{1}) + a_{2}E(X_{2}) + … + a_{n}E(x_{n})$

예제1)

$f_{X,Y}(x,y) = \begin{cases}
\frac{51}{84}, XY=0\ \ \ \frac{24}{84}, XY=1\ \ \ \frac{9}{84}, XY=2\\
\frac{0}{84}, XY=3\ \ \ \frac{0}{84}, XY=4\ \ \ \frac{0}{84}, XY=6\\
\end{cases}$

$E(X,Y) = 0 * \frac{51}{84} + 1 * \frac{24}{84} + 2 * \frac{9}{84} + 3 * \frac{0}{84} … =  \frac{1}{2}$

예제2)

$f_{x,y}(x,y) = e^{-x-y}  (x>0, y>0)$ 일때 g(x,y) = X+Y의 기댓값?

$E[g(x,y)] = \int_{0}^{\infty}\int_{0}^{\infty}e^{-x-y}dxdy$

$= \int_{0}^{\infty}e^{-y}(\int_{0}^{\infty}ye^{-y}dy)dx = 1 + 1 = 2$

<정리4 – 독립변수>

두 확률 변수 X,Y가 서로 독립이면 E(XY) = E(X) * E(Y) 가 성립된다.

X 와 Y의 함수인 g(x) 와 h(y) 도 독립이며 E[g(x)h(x)] = E[g(x)] * E[h(y)] 이다.

증명)

$E(XY) = \sum\sum xyf_{X,Y}(x.y)$

$= \sum\sum xyf_{X}(x)f_{Y}(y)$

$= \sum xf_{X}(x) * \sum yf_{Y}(y)$

$E(X) * E(Y)$

<정리5 – 조건부>

$E(Y|X = x) = \begin{cases}
\sum y_{i}f_{Y|X}(y_{i}|x)\\
\int_{-\infty}^{+\infty}yf_{Y|X}(y|x)dy\\
\end{cases}$

예제)

$f_{X,Y}(x,y) = x^{2}e^{-x(y+1)} , x>0 , y < +\infty$ 일때 Y| x의 조건부 확률밀도 함수는

$f_{Y|X=x} = xe^{-xy} , y > 0$ 이다.

$E(Y|X=x) = \int_{-\infty}^{+\infty}yf_{Y|X}(y|x)dy$

$= \int_{0}^{+\infty}xye^{-xy}dy$

$= -ye^{xy}|_{0}^{\infty} + \int_{0}^{\infty}e^{-xy}dy = \frac{1}{x}$

<정리6 – 이중기댓값>

조건부 기댓값 E(Y|X=x)는 x에 대한 함수이므로, 이를 g(x) = E(Y|X=x)라고 표현할 수 있다.

이 때 g(x)의 x 대신에 확률변수 X를 사용한 g(x) = E(Y|X)는 역시 확률변수이다.

두 확률변수 X,Y에 대하여

E[E(Y|X)] = E(Y) 가 성립된다.

증명)

$E[E(X|Y)] = \int_{-\infty}^{+\infty}E(Y|x)f_{X}(x)dx$

$= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}yf_{Y|x}(y|x)f_{X}(x)dydx$

$= \int_{-\infty}^{+\infty}y\int_{-\infty}^{+\infty}f(x,y)dxdy$

$= \int_{-\infty}^{+\infty}yf_{Y}(y)dy = E(Y)$

예제 1)

두 변수 X,Y의 결합 확률 밀도함수가

$f_{X,Y}(x,y) = \begin{cases}
\frac{1}{2}, \ \ \ 0 \le x \le y \le 2\\
0, \ \ \ \ 다른경우
\end{cases}$

X와 Y의 주변 확률밀도 함수가

$f_{X}(x) = \int_{x}^{2}\frac{1}{2}dy = \frac{1}{2}(2-x) \ \ \ 0 \le x \ le 2$

$f_{Y}(y) = \int_{0}^{y}\frac{1}{2}dy = \frac{1}{2}y \ \ \ \ 0 \le y \le 2$

Y|X의 조건부 확률밀도함수는 정의에 의해, f_{Y|X}(y|x) = $\frac{\frac{1}{2}}{\frac{(2-x)}{2}}, x \le y \le 2$가 되고 이를 이용하여 $0 \le x \le 2$ 일때 $E(Y|X = x) = \frac{(2+x)}{2}$ 임을 알 수 있다.

그리고 E(E(Y|X)) = $\int_{0}^{2}\frac{1}{2}(2+x) * \frac{1}{2}(2-x)dx = \frac{4}{3}$이 된다.

위에서 구한 Y의 주변 확률밀도함수를 이용하면 이 값은 E(Y)와 같다.

예제2)

x > 0 에서 X의 확률밀도함수가 $f_{X}(x) = \frac{1}{2}e^{\frac{-x}{2}} 와 같고, Y|X = x 의 조건부 확률밀도함수가$

$f_{Y|X}(y|x) = \begin{cases}
\frac{1}{x}, \ \ \ 0 \le y \le x\\
0 \ \ \ \ \ 다른경우\\
\end{cases}$

라고 할 때 , E(Y)를 값은?

$E(Y|X=x) = \int_{0}^{x}y\frac{1}{x}dy = \frac{1}{2}x, x>0이 되고,$

$E(Y) = E(E(Y|X)) = \int_{0}^{\infty}\frac{1}{2}x * \frac{1}{2}e^{\frac{-x}{2}}dx = \int_{0}^{\infty}ze^{-z}dz = 1$

<정리 7 – 조건부 독립변수>

확률변수 X와 Y가 독립이면

E(Y|x) = E(Y), E(X|y) = E(X) 가 성립한다.

증명)

$E(Y|x)  = \int_{-\infty}^{+\infty}yf_{Y|x}(y|x)dy$

$= \int_{-\infty}^{+\infty}y\frac{f_{X}(x)f_{Y}(y)}{f_{X}(x)}dy$

$= \int_{-\infty}^{+\infty}yf_{Y}(y)dy = E(Y)$

<정리 8 – 조건부 분산>

X = x 가 주어졌을 때, 확률변수 Y의 조건부 분산은

$Var(Y|x) = E[{Y-E(Y|x)}^{2}|x]$

예제)

x > 0 인 x에 대해 Y|x의 조건부 확률밀도함수는 y > 0 일 때

$f_{Y|x}(y|x) = xe^{-xy}$ 으로, E(Y|x) = $\frac{1}{x}$ 로 주어졌다. 그런데

$E(Y^{2}|x) = \int_{-\infty}^{+\infty}y^{2}f_{Y|x}(y|x)dx$

$= \int_{0}^{\infty}xy^{2}e^{-xy}dy$

$= -y^{2}e^{-xy}|_{0}^{\infty} + \int_{0}^{\infty}2ye^{-xy}dy = \frac{2}{x^{2}}$ 이므로

$ Var(Y|x) = E(Y^{2}|x) – [E(Y|x)]^{2} = \frac{2}{x^{2}} – (\frac{1}{x})^{2} = \frac{1}{x^{2}}$

<정리 9 – 조건부 기댓값을 통한 분산 분해>

두 확률변수 X, Y에 대하여

$Var(Y) = E[Var(Y|X)] + Var[E(Y|X)]$ 가 성립한다.

증명)

$E[Var(Y|X)] = E{E(Y^{2}|X) – [E(Y|X)]^{2}}$

$= E(Y^{2}) – E[E(Y|X)]^{2}$

$= E(Y^{2}) – [E(Y)]^{2} – {E[E(Y|X)]^{2} – [E(E(Y|X))]^{2}}$

$= Var(Y) – Var[E(Y|X)]$

답글 남기기

이메일 주소를 발행하지 않을 것입니다.