정규분포 확률밀도함수의 유도, 증명, 성질

정규분포 확률밀도함수의 유도, 증명, 성질

이 포스팅은 정규분포 확률밀도함수의 유도, 증명, 성질에 관한 글 입니다.

 

고등학교에서는 정규분포 확률밀도함수의 형태 및 성질, 활용법만을 배우지 실제로 그 함수가 어떻게 유도되었는지에 대한 내용은 빠져있습니다.

그 이유는 대학과정에서 배우는 내용을 알아야 이해할 수 있기 때문인데요.

고등학생 때 그 함수 형태가 궁금했던 사람으로서 이 부분에 관련된 글을 알기쉽게 서술하면 좋을것 같아서 이렇게 포스팅하게됐습니다.

 

이 글이 필요한 학생은

1. 정규분포의 확률밀도함수가 어떻게 유도되는지 궁금한 학생

2. 정규분포 확률밀도함수의 성질을 알고싶은 학생

3. 정규분포 확률밀도함수의 역사적 배경에 대해 궁금한 학생

입니다.

 

제 글이 많은 학생들에게 도움이 됐으면 하는 바람입니다.

그럼 포스팅 시작합니다.

---

정규분포 확률밀도함수와 그 성질

 

 

 

정규분포(Normal distribution; Gaussian distribution이라고도 함)를 따르는 확률밀도함수는 다음과 같이 주어집니다.

 

함수의 모양은 아래와 같습니다.

 

(위 그래프에서는 평균 m이 그리스 문자 μ로 표시돼 있습니다.)

 

이 함수는 다음과 같은 성질을 가집니다.

 

---

증명

1) 정규분포의 확률밀도함수가 나오게 된 경위

-드무아브르(de Moivre)의 이항분포(binomial distribution)

증명에 앞서 정규분포의 확률밀도함수가 나오게 된 경위에 대해 간략히 소개하겠습니다.

정규분포의 개념은 1738년 수학자 드무아브르(de Moivre)에 의해 처음 발견됐다고 합니다.

그는 그의 저서 "The Doctrine of Chances" 에서 (a+b)ⁿ을 전개했을 때 나오는 계수가, n이 점차 커짐에 따라 특정한 분포 형태를 따른다고 밝혔습니다. 이를 이항분포(binomial distribution)라 하고, 드무아브르는 n이 매우 커질 때 이항분포가 다음 식과 같이 표현됨을 증명했습니다.

 

 

-라플라스(Laplace)의 정규분포(normal distribution)

1774년, 프랑스 수학자 라플라스(Laplace)는 중심극한정리(central limit theorem)라는 통계학에서 매우 중요한 이론을 발표합니다. 이 이론의 요는, 이항분포에서 n의 값이 매우 클 때 확률변수는 정규분포를 따른다는 것입니다.

한편, 그는 정규분포 확률밀도함수를 구하는 과정에서 아래의 중요한 적분 결과를 구해냅니다.

이 결과를 가지고 그는 정규분포의 확률밀도함수의 정확한 형태를 완성시킵니다.

 

-가우스(Gauss)의 직관과 통찰력

그 후 1809년, 천재 수학자 가우스(Carl Fridrich Gauss)는 측정값과 실제값 간의 오차가 평균값 주변에서 발생한다는 것에 주목해서 '통계적 오차'를 정규분포의 확률밀도함수로 해석했습니다.

그는 이러한 개념과 함께 최소자승법(method of least squares)및 최우추정법(Maximum likelihood estimation)이라는 강력한 통계적 툴을 이끌어냅니다. 정규분포(normal distribution)를 가우시안 분포(Gaussian distribution)라 부르는 것도 최초 발견자 드무아브르에 비해 가우스의 공로가 누가 봐도 지대했기 때문입니다.

(그러나 앞서 밝혔듯이, 함수의 구체적인 형태를 발견한 수학자는 가우스가 아니라 라플라스입니다. 영미권이 세계의 헤게모니를 쥐면서 정규분포는 자연스레 가우시안 분포(Gaussian distribution)라 널리 알려졌으나, 현재 불어권에서는 정규분포를 라플라시안 분포(Laplacian distribution)라고 부르기도 합니다.)

 

2) 정규분포의 확률밀도함수의 유도

정규분포 확률밀도함수는 라플라스가 제시한 중심극한정리의 논리에 따라 대략적으로 e의 -ax² 승의 형태로 주어집니다.

드무아브르의 이항분포에서 불연속적이던 자연수 변량 n의 값이 매우 커짐에 따라 연속된(실수) 확률변수 x로 표현됨에 주목하시기 바랍니다.

또한 이 함수는 y축에 대해 대칭인 우함수이며(x 대신 -x를 집어넣으면 똑같은 결과가 나옴), x를 ±∞로 보내면 0으로 수렴하며, 실수 전 구간(-∞＜x＜+∞)에서 적분하면 √π/a 가 나옵니다.

 

함수가 우함수이기 때문에 이 함수를 따르는 확률변수들의 평균은 0이라는 걸 알 수 있습니다.

(확률밀도함수가 우함수면 평균이 0이 되는 이유는, 모든 확률변수들이 자신과 절대값은 같으나 부호가 반대인 다른 변수를 한 쌍씩 가지고 있기 때문입니다. 예를 들어 네 변수 -100, -50, +50, +100 의 평균은 부호가 반대인 것들끼리 서로 상쇄되어 0이 되죠.)

 

 

 

 

한편, a의 절대값이 커지면 커질수록 함수의 모양이 y축과 더 가까워집니다.(그림참고)

이로써 e의 -ax² 승에서의 a는 확률변수의 분산과 관련 된다는 것을 알 수 있습니다.

a가 작으면 작을수록 변수들은 평균 0으로부터 점점 멀어지기 때문에 분산이 크고,

a가 크면 클수록 변수들은 평균 0으로 점점 몰리기 때문에 분산이 작습니다.

 

 

 

-라플라스의 적분 증명 및 함수 표준화

이 증명은 고교 수학 범위를 벗어나므로, 수식으로 간략하게 소개만 하고 넘어가겠습니다.

 

좌표계에는 x,y 로 표현되는 직교좌표계 말고 극좌표계라는 또다른 좌표계가 있습니다.

극좌표계에서는 특정 한 점을 x, y로 표현하던 것을 원점으로부터 그 점까지의 거리 r과, 그 점과 x축이 양의 방향으로 이루는 각 θ로 표현합니다.

 

 

극좌표계에는 다음과 같은 성질이 있습니다.

 

극좌표계를 도입해 위 적분을 다음과 같이 표현할 수 있습니다.

 

(직교좌표계의 적분 범위 -∞<x<+∞, -∞<y<+∞ 가 극좌표계에서는 0<r<+∞, 0<θ<2π 로 바뀝니다.)

이제 치환을 통해 적분을 마무리 할 수 있습니다.

 

 

 

함수의 아랫부분의 면적이 √π/a 이므로 이 값의 역수를 곱해 면적을 1로 맞춰줄 필요가 있습니다.

왜냐하면 우리가 구해야할 함수의 정확한 형태는 확률밀도함수이기 때문에, 확률밀도함수의 성질인 전 구간에서 적분값이 1이 되어야한다는 것을 만족시켜야 하기 때문입니다.

(이를 표준화(normalization)라고 합니다.)

 

 

 

-상수 a 구하기

상수 a는 분산과 관계된 항이라는 것을 앞서 밝혔는데요.

따라서 a를 구하기 위해서는 분산과 관련된 다음 식을 사용해야합니다. (분산은 "(변량-평균)²의 평균")

f(x)을 e의 -ax² 승으로 보면 m은 0이라고 했으므로 이를 대입하면,

 

이 식에서 u=x, v'=xe^(-ax²) 로 보고 부분적분을 수행하면,

 

중괄호 안의 첫번째 항은 함수가 기함수(원점대칭)이기 때문에 적분값은 0이 나옵니다.

중괄호 안의 두번째 항은 라플라스가 구한 적분값 S를 이용해서 구할 수 있습니다.

 

따라서 a=1/2σ² 을 얻을 수 있습니다.

 

 

 

-평균을 고려해 함수 완성하기

정리하면 f(x)는 다음과 같은 꼴을 가집니다.

 

지금까지는 정규분포 함수가 y축으로부터 벌어진 정도인 분산만을 고려했습니다. 이제는 평균도 고려해봅시다. 위 함수는 여전히 우함수(y축 대칭)로, 평균이 0인 상태입니다.

 

평균을 m이라고 한다면, 위 함수의 모양은 유지한 채 모든 변수들을 m만큼 증가시켜주면 됩니다. 즉, 함수를 x축으로 평행이동시켜주면 됩니다. ( ∵E(ax+b) = aE(x)+b → E(x+m) = E(x)+m = 0+m )

변수를 m만큼 증가시킨다는 것은 함수 f(x)에서 x 대신 x-m을 대입하라는 뜻입니다.

 

 

유도 완료//

 

---

정리

 

이번 포스팅에서는

 

- 정규분포를 따르는 확률밀도함수의 성질

- 그 함수가 나오게 된 배경

- 실제 함수 유도과정

 

을 알아보았습니다.

정규분포는 자연이 따르는 가장 완벽한 형태의 분포입니다. 또한 사회과학에서도 정규분포는 매우 중요하게 쓰이고 있습니다.

(어떤 시험에서, 학생들의 점수분포가 평균근처에 가장 많이 몰리고 고득점자 및 저득점자의 비율이 점차적으로 낮아지는 종모양의 분포가 가장 바람직하죠. 시험문제가 이상헤서 분포가 낙타등처럼 중간은 없이 양 극단을 취한다면 출제자가 질타를 받습니다.)

 

정규분포의 확률밀도함수의 유도과정은 고교 수학 범위를 넘어서나,

뛰어난 수학자들의 아이디어를 배울 수 있는 좋은 예인 것 같아 이렇게 소개했습니다.

포스팅하면서 저도 배운 점이 많군요.

(정규분포의 정확한 유도과정은 몰라도 되나, 그 성질만큼은 꼭 이해하셔야합니다.)

 

 

*정규분포는 표준화라는 작업을 거쳐 표준정규분포라는 또다른 함수로 변환할 수 있는데요.

표준정규분포에 대한 내용은 이번 포스팅에서 다루지 않았습니다.

 

 

 

표준화 매개변수 Z가 왜 (x-m)/σ 로 주어지는 지는 다음에 포스팅할 계획입니다.

 

 

제 글이 많은 학생들에게 도움이 됐으면 하는 바람입니다.

더 궁금한 점이 있거나, 글에서 잘못 된 부분, 누락된 부분이 있으면 말씀해 주세요.

피드백은 언제든지 환영합니다.