ch6. Random Vector (2)

서울시립대학교 인공지능학과 김정연 교수님의 확률 및 랜덤 프로세스 강의를 정리함을 미리 알립니다.

 

Chapter 06. 벡터 확률 변수

<Outlines>

1. Random vector

2. 확률변수들의 함수

3. 기대값

4. 적률생성함수

 

3. 기댓값 - 확률 벡터(Random Vector)에 대한 여러 개념들을 배운다.

• 기댓값

확률 벡터(Random Vector)에 대한 기댓값의 정의를 설명한다. 이는 다음과 같다.

확률 벡터의 원소인 모든 확률 변수에 대해서 기댓값의 정의를 적용하면 된다. 간단하다.

 

 

• 평균 벡터

확률 벡터의 모든 원소에 대해 기댓값을 구한 것이다. 이를 벡터로 표현한다.

평균 벡터의 정의 그냥 확률 벡터 원소들의 기댓값들을을 벡터로 세우면 된다.

 

 

 

• 공분산 행렬(Covariance matrix)

확률 벡터에 대한 공분산이다. 벡터에 대해 연산을 해서 행렬이 나왔다.

공분산 행렬의 정의

공분산 행렬을 이해하기 위해 우선 다시 한번 공분산의 정의를 확인해보자.(ch5. Pair of RVs)

i) 같은 두 확률 변수에 대해 공분산을 구하면 분산이 되었다. Cov(X, X) = E((X-E(X))(X-E(X)) =  E((X-E(X))^2) = VAR(X)

ii) 두 확률 변수가 독립이면 공분산은 0이 된다. Cov(X, Y) = E(XY)- E(X)E(Y) = 0 (X, Y가 독립이면 E(XY) = E(X)E(Y))

iii) 공분산에서는 두 확률 변수의 순서는 중요하지 않다. Cov(X, Y) = COV(Y, X)이다.

여기서 i, iii를 주목해보자.

 

공분산 행렬의 대각성분은 같은 두 확률 변수의 공분산이다. 즉 분산이 될 것이다.

행렬의 성분의 index를 i행 j열 이라고 해보자. 그러면 i행 j열 성분과 j행 i열 성분은 결국 같은 공분산이다. 

3x3 예시를 보면서 이해해보자.

i 성질에 의해 대각 성분은 분산이다.

iii) 공분산은 순서가 상관 없기에, 대응되는 성분끼리 값이 같다.

즉 공분산 행렬은 대칭 행렬(Symmetric Matrix)임을 알 수 있다.

 

<Example. 6.16>

확률 벡터에 대한 평균 벡터, 공분산 행렬을 구하는 예제

Sol) 

해당 문제를 풀기 위해 우선 pdf를 잘 보자. pdf를 X1, X2의 이변량 정규 분포, X3의 표준 정규 분포의 곱으로 볼 수 있다.

X1, X2 ~ BVN( 0, 0, 1, 1, -1/ 2^(1/2) ), X3 ~N(0, 1)이다. pdf가 쪼개지므로 독립의 필요충분조건에 의해 X1과 X3, X2와 X3는 독립이다. 해당 정보로 이 문제를 해결할 수 있다. 전체 풀이는 다음과 같다.

왼쪽 아래는 X1, X2의 공분산을 알기 위한 계산이다. sol1는 실패하였고, sol2) 상관 계수를 통해 알 수 있었다.

위 풀이에서 주목할만한 점은 4가지이다.

1) pdf를 관찰하며 쪼개고, 각 확률 변수의 분포를 알아낼 수 있었다.

2) 공분산 행렬은 대칭 행렬이다. 많은 계산이 필요하지 않다. 한쪽을 알면 이를 구할 수 있다.

3) 이변량 정규 분포는 상관 계수에 대한 정보를 준다. 즉 이를 통해 두 확률 변수의 분산을 알 수 있다. (sol2)

4) 두 확률 변수가 독립이면, 공분산은 0이다.

 

 

• 확률 벡터의 선형 변환    *증명*

 

한 확률 벡터(Y)가 어떤 확률 벡터(X)의 선형 변환이라고 하자. 이는 다음과 같이 표현할 수 있다.

X를 Y로 변환하는 행렬을 A라고 하겠다.

이렇게 선형 변환된 확률 벡터에 대해 다음과 같은 두 공식이 적용된다. 이 각각을 증명하겠다.

기댓값의 선형성이랑 비슷한 느낌이다.

 

공분산 행렬의 정의와, 위에서 증명한 E(AX) = AE(X)를 사용한다.

 

<Example 6.18>

위 6.16 예제에서 구한 E(X)와 COV(X)를 이용하면 된다. 확률 벡터의 선형 변환 공식을 이용하면 간단하게 풀 수 있다.

 

 

---

 

4. 적률생성함수

해당 단원은 개념을 정확하게 아는 게 중요하다. 적률이 무엇인지, 이러한 적률을 만드는 적률 생성 함수는 무엇인지....

그리고 어떻게 적률 생성 함수를 통해 적률을 생성하는지를 잘 알아야 한다.

 

• 적률

r차 적률, 중심 적률 개념

적률은 그냥 확률 변수의 r차의 평균이다. 우리는 분산을 구할 때 E(X^2)을 많이 사용했다. 이것 또한 2차 적률인 것이다.

확률 변수에서 평균을 빼고, r차의 평균을 구한게 r차 중심 적률이다. 그냥 개념이니까 그렇군 하고 넘어가면 된다.

 

 

• 적률 생성 함수(Moment generating function, MGF) # t에 대한 함수

적률 생성 함수(MGF)에 대한 정의

적률이 확률 변수 r차에 대한 기댓값이면, 적률 생성 함수는 e^tx에 대한 기댓값이다.

 

기댓값을 처음 공부할 때, E(g(X))와 같은 확률 변수 함수에 대한 기댓값을 구한 적이 있다. X의 확률 자체는 변하지 않았지만, 확률변수 모양만 g(X)로 바뀌는 느낌이였다. 이랑 똑같다. 적률은 g(X) = x^r, 적률 생성 함수는 g(X) = e^(tx) 일뿐이다.

여기서 중요한건 적률 생성 함수(MGF)는 새로운 변수 t가 도입된다는 것이다. 즉 MGF는 t에 대한 함수이다.

 

이러한 적률 생성 함수는 E(e^(tX))의 기댓값이 유한(존재)할 때 존재할 수 있다.

 

그냥 개념이니까 음 그렇구나 하고 암기하고 넘어가면 된다.

MGF를 실제로 구해보고, 어떻게 적률를 생성한다는건지 알아보자.

 

<Example. MGF 구해보기>

특이한 풀이니까 외워놓자. 중간에 이항 전개의 개념이 사용되었다.

 

지수 분포의 pdf는 두 종류가 있었다..

 

 

cf) 문제를 풀기 위한 중요한 분포 복습 (잘 외워놨으면 그냥 넘어가면 된다.)

중요한 이산, 연속 확률 변수의 의미와 pdf는 꼭 외워둬야한다. 이를 잘 기억하자..

# 베이기음초포, # 균정지감베

이산 확률 변수 중 중요한 것들 다시 한 번 복습.. 확률 변수의 의미와 pdf를 외우는 것이 문제를 풀기 위해 매우 중요하다.

포아송 분포의 확률 변수 설명이 조금 부족한 것 같은데.. 어떤 기간 동안의 사건 발생 횟수이다.

예를 들어 3년동안의 교통 사고 발생 횟수 같은 것이다. 만약 교통 사고가 1년에 10회 발생한다면 

3년동안 교통 사고 발생 횟수인 포아송 확률 변수는 다음과 같은 분포를 따른다. X~Poission(30) 이를 꼭 이해하자.

 

연속 확률 분포는 다시 한 번 ch4.Continuous를 봐보자. 베타, 감마 분포는 외울 필요까지는 없다.

https://dogunkim.tistory.com/4

ch4. Continuous

여기서 집중해서 봐야하는 건 지수 분포이다. 

다음 두 가지 포인트를 기억하자.

1) 지수 분포는 기하 분포의 연속형 버전 느낌이다.

기하 분포의 확률 변수는 첫 성공까지의 서로 독립인 베르누이 시행 횟수라고 했다.

지수 분포의 확률 변수는 어떤 사건이 일어날 때 까지 걸리는 시간이다.

(비슷하지..? 어떤 사건이 일어나길 성공.. 시행 횟수 -> 연속형 시간)

 

2) 지수 분포의 pdf 형태는 두 가지이다. (보통 2번이 더 일반적인 지수 분포 pdf)

 

ㄱ

지수 분포 pdf를 사용하는 문제를 풀 때, 꼭 어떤 pdf를 썼는지 명시해야한다.

 

지수 분포의 MGF를 풀다가 갑자기 이상한 말은 한 것 같지만.. 꼭 외워놓아야 문제를 편하게 풀 수 있다.

위로 올라가보면 지수 분포의 MGF를 계산하기 전에, 어떤 pdf를 사용했는지 명시해놓았다.

 

 

• 적률 생성 - MGF(적률생성함수)로 적률 생성

지금까지 적률이 무엇인지, 적률 생성 함수는 어떻게 구하는지 알아봤다. 이제는 MGF를 통해 어떻게 적률을 생성하는지 공부한다. 방법은 간단하다. r차 적률을 구하고 싶으면, MGF를 r번 미분 후, 0를 대입하면 된다.

(계속 강조하지만, 적률 생성 함수는 t에 대한 함수이다!! 미분은 t에 대해 진행, 0을 대입하는 것도 t에 대입하는 것이다.)

 

 

*** <Example> ***

 

1차 적률로 평균을, 2차 적률로 분산을 계산할 수 있다. MGF의 정의와 적률 생성을 어떻게 하는지 정확하게 알아야 한다.

우선 MGF를 구하고, t에 대해 1번 미분하고, 0을 대입해 1차 적률.. 즉 평균을 구했다.

또한 t에 대해 2번 미분 후, 0을 대입해 2차 적률을 구하고 분산의 정의를 사용하여 분산을 구했다.

 

**증명**

적률 생성 함수가 어떻게 적률을 생성하는지를 증명하겠다. 낮은 차수부터 약식 증명을 하겠다. (엄밀한 증명 x)

1차 적률을 생성하는 과정을 보였다. 이를 2차, 3차에도 똑같이 적용해보면 적률이 생성됨을 보일 수 있다.

 

 

• MGF 의 활용과 성질 ******

이러한 적률 생성 함수는 위 예시 처럼 평균과 분산을 우회적으로 구할 수 있는 수단이기도 하지만..

다른 활용으로 MGF를 통해 분포를 파악할 수 있다. 만약 두 확률 변수의 MGF가 같다면 같은 pdf를 가진다.

MGF가 같다 -> 같은 pdf(분포)를 갖는다!!\

 

<Example.MGF를 통해 분포 알아내기>

cf) 지수 분포의 pdf를 사용할 때는 어떤 pdf를 사용하는지 꼭 언급하라. 그

X의 MGF는 위 예시에서 계속 구했으므로, 그냥 사용하겠다..

Y의 MGF를 구해보니 EXP(aλ)의 MGF를 보인다. (잘 모르겠으면.. 마지막 식에서 aλ를 λ' 으로 치환해서 보면.. 알 수 있다.)

즉 Y ~ EXP(aλ) 이다. EXP(aλ)의 MGF와 Y의 MGF가 같음을 통해 Y의 분포를 보였다.

 

+ X의 MGF가 Mx(t)일 때, aX의 MGF는 Mx(at)이다. (추가 성질. 확률 변수 상수배 = MGF 변수 t에 대한 상수배) 

 

MGF를 통해 적률을 생성하여 평균과 분산을 구하거나, MGF가 같음을 보임을 통해 같은 pdf(분포)를 보이는 활용을 봤다.

이제는 MGF의 성질을 공부해보겠다. **증명**

MGF의 성질

이 둘은 MGF의 성질이다. 그냥 정의에 넣으면 간단하게 증명된다.

 

 

 

<Example. MGF를 통해 분포 확인하기> *** ㅈㄴ 회독

MGF의 특성(상수배)와 정규 분포의 MGF를 외우고 있다면 이와 같이 쉽게 풀 수 있다.

 

 

 

• 결합 적률생성함수 (확률벡터의 MGF)

그냥.. 음 그렇구나 하고 넘어가면 된다. 하지만, 확률 변수 1개당, MGF의 변수는 한 개가 매칭되어야 한다. 이를 꼭 잊지 말자. 아래 예제에서 이를 실수한 예시를 보인다.

 

 

• MGF를 통한 독립의 필요 충분 조건

PDF가 쪼개지면 독립의 필요 충분 조건이었다. 이와 비슷한 느낌으로 MGF가 쪼개지면 독립의 필요 충분 조건이 된다.

 

<Example. 결합 적률 생성 함수 만들기>

U, V가 독립이기 때문에, 결합 MGF를 각 MGF의 곱으로 바꿀 수 있다.

위 풀이는 표준 정규 분포의 MGF를 암기하고 푼 것이다. 포아송과 정규 분포 MGF는 구하기 힘드니까 꼭 외우자.

확률 변수 1개당 MGF의 변수 1개를 매칭시킨다. 이를 꼭 기억하자. 

꼭 암기하자. 특히 정규 분포와 포아송 분포를 외워야 한다.