확률 및 통계 - 1. Discrete Proability Distributions

* Experiment : 실제 혹은 가상의 과정에서 도출될 수 있는 결과를 만드는 행위.

( ex: Rolling a dice - { 1, 2, 3, 4, 5, 6 }, Tossing a coin - { Head, Tail } )

---

Def 1.1

 

* Random Variable : experiment에서 도출된 결과.

( ex: X가 rolling dice의 결과라고 했을 시, X=1 은 주사위를 굴려 1이 나왔다는 뜻이다.)

 

* Sample Space : 모든 가능한 결과의 집합이다. (Ω)

 

* 만약 모든 Sample Space가 Countable하다면, Random Variable은 Discrete(이산)이다.

(Discrete : finite, infinite)

 

* Event : Sample space의 부분 집합.

 

* outcome : sample space의 각 원소

 

=> 따라서 Rolling dice를 예시로 들면, 주사위를 굴리는 행위가 Experiment, 그 결과로 나오는 주사위 값이 random variable(X), 그리고 그 X가 나올 수 있는 모든 결과를 모아놓은 것이 Sample space(Ω).

이 때, r.v. X는 Discrete이다. 그리고 여기서 결과가 모두 짝수일 event는 E={2,4,6}이다.

여기서 E의 각 원소 2,4,6이 outcome이 될 수 있다.

 

* Distribution fuctions (확률 분포 함수)

X가 r.v.일 때 각 결과에 non-negative number를 할당하는 것.

 

---

Def 1.2

 

* X가 r.v.이고 finite한 수많은 outcome이 있을 시, 이 X들의 분포를 표현하는 함수 m을 만들 수 있다.

=> m : Ω -> R, m(w)>=0, m(w)의 모든 합은 1. (단, w는 Ω의 원소)

모든 Ω의 event E에 대해, E의 probability( P(E) )는 m(w)의  {w는 E의 원소} 으로 정의된다.

(이 때, 모든 w는 Ω의 원소이며, P(w) = m(w) 이다.)

ex)

2개의 동전을 던질 때, Sample space는 다음과 같이 구성될 수 있다.

1. Ω = { HH, HT, TH, TT } - 결과의 순서가 영향을 미침.

2. Ω = { 0, 1, 2 } - H의 갯수

3. Ω = { HH, HT, TT } - 결과의 순서를 고려하지 않음.

=> 이 때, 동전이 일어서는 극히 일부의 경우를 제외하면, HH, HT, TH, TT 이 4가지 경우는 전부 1/4로 동일한 확률을 지닌다. 이를 equally likely라고 한다.

( m(HH)=m(HT)=m(TH)=m(TT)=1/4 )

 

Rolling dice를 생각해보자. Ω = { 1,2,3,4,5,6 }이다.

m(1)=m(2)=m(3)=...=m(6)=1/6 인 equally likely Event이다.

이 때 E={2,4,6}이면 P(E) = 3/6 = 1/2이다.

 

A,B,C 게임

-> A와 B는 동등한 확률을 가지고, C는 A,B의 확률의 절반을 지닌다.

이 경우 Ω는 eqaully likely가 아니다. Ω={A,B,C}이며

P(A)=P(B)=2/5, P(C)=1/5이 될 것이다.

E={A,C}일 시 P(E) = 3/5가 된다.

 

* A,B의 집합 연산 법칙

1. A U B = { x | x ∈ A or x ∈ B }

2. A n B = { x | x ∈  A and x ∈ B }

3. A \ B = { x | x ∈ A and x ∉ B }

4. A ⊆ B = A는 B의 부분 집합

5. A' = { x | x ∉ A, x ∈ Ω }

 

정리 1.1

1. 모든 Ω의 event E에 대해 P(E)>=0.

2. P( Ω ) = 1

3. 만약 E ⊆ F ⊆ Ω일 시, P(E) <= P(F)

4. 만약 A와 B가 '독립'일 시, P(AUB)=P(A)+P(B) { A n B 가 공집합일 시 }

5. P(A') = 1 - P(A)

정리 1.1 증명

 

1. P(E) = m(w)의 합. (w는 E의 원소)

=> m은 분포함수이며, 결과값은 음수가 될 수 없다. (확률이 음수일 수는 없음과 동일한 소리.)

m(w)의 결과는 0보다 크거나 같으며, 따라서 P(E)>=0일 수 밖에 없다

 

2. P( Ω ) = ∑m(w) = 1. (w는 Ω의 원소.)

=> Def 1.2에 의해 가능한 모든 결과의 집합의 확률 합은 1이다.

 

3. E ⊆ F ⊆ Ω를 가정하자. P(F) = ∑m(w) (w는 F의 원소) 이고, F는 E의 super set이기 때문에

∑m(w) (w는 F의 원소) =  ∑m(w) (w는 E의 원소) + ∑m(w) (w는 F의 원소이며 E의 원소가 아닌 원소)

로 나타낼 수 있다.

이 때, 정의에 따라 ∑m(w) >= 0이다. 따라서 P(E)<=P(F)이다.

 

4. A와 B가 독립이라면 다음과 같은 상황인 것이다.

겹치는 원소가 없다.

따라서 P(A)+P(B)가 P(AUB)를 나타내는 것이 된다.

 

5. A'의 정의에 따라, P(Ω) = P(A)+P(A')이다. P(Ω) = 1이므로, P(A') = 1-P(A) 

정리 1.2

A1~An 이 Ω에 대해 가능한 모든 독립 부분 집합들이라고 했을 때, P( U P(Ai) ) { i= 1~n } = P(Ai)의 모든 합.

 

정리 1.3

A1~An이 Ω의 partition이라고 할 때, (Ai를 다 합하면 Ω임, A1~An은 전부 독립임)

=> P(E) = ∑ P(E n Ai) { i = 1~n }

정리 1.3 증명

P ( A1 U A2 U ... An ) = P( Ω ). (A1~An은 독립이기 때문에)

따라서 P( E n Ai ) 들도 전부 독립일 수 밖에 없고, P( Ω n E ) = P(E)와 동일한 소리가 됨.

( P( E n A1 ) U P( E n A2 ) ... U P (E n An ) => P(E n A1) + P(E n A2) + ... + P(E n An) = P(E)

-> P(A) = P(A\B) + P(A n B)

 

정리 1.4

P(A U B) = P(A)+P(B) - P(AnB) {A,B = event}

정리 1.4 증명

P(AUB) = P(A\B)+P(B) = P(A) - P(AnB) + P(B)

---

Def 1.3

finite sample space Ω에 대해 uniform distribution은

Ω가 n개의 원소들로 구성되었을 때, m(w) = 1/n (단, w는 Ω의 원소들)

 

문제

만약 동전을 던져서 처음으로 Head가 나온 횟수를 sample space로 잡으면,

Ω = {1,2,3,...}일 것이고,

P(1) = 1/2, P(2) = 1/4, P(3) = 1/8...

m(n) = 1/(2^n)일 것이다.

따라서 ∑ m(n) = ∑ (1/2)^n, 등비 급수의 합 공식에 따라 (1/2)/(1-1/2)= 1.

즉 ∑m(n)=1이 성립.

=> 만약 해당 Ω에서 추출한 E = {2,4,6...,8} 일시 P(E) = (1/4)/(1-1/4) = 1/3일 것이다.