[인공지능수학]확률변수,확률분포,확률함수

1. 확률변수

• 개념: 확률변수는 결과를 숫자로 표현하는 변수입니다. 즉, 어떤 실험이나 상황에서 가능한 결과를 숫자로 나타낸 것입니다.
• 쉬운 예:
  • 동전을 한 번 던질 때 "앞면이 나오면 1, 뒷면이 나오면 0으로 표시"한다고 하면, 이 숫자(0과 1)가 확률변수가 됩니다.
  • 여기서 확률변수 X는 "동전 던지기의 결과"를 나타냅니다:
    • 앞면이 나오면 X = 1,
    • 뒷면이 나오면 X = 0.

2. 확률분포

• 개념: 확률변수가 가질 수 있는 값들과 각 값이 나타날 확률을 보여주는 것이 확률분포입니다.
• 쉬운 예:
  • 위의 동전 던지기 예시에서 X는 두 가지 값(0, 1)만 가질 수 있습니다.
  • 확률분포는 아래와 같습니다:
    • P(X = 0) = 0.5 (뒷면이 나올 확률: 50%)
    • P(X = 1) = 0.5 (앞면이 나올 확률: 50%)

3. 확률함수

• 개념: 확률변수의 값과 그 확률을 연결하는 수학적 함수입니다.
• 쉬운 예:
  • 위의 동전 던지기에서 확률함수는 다음과 같이 정의될 수 있습니다:
    • P(X) = 0.5, X가 0 또는 1일 때.
  • 이 함수는 X가 특정 값을 가질 확률을 알려주는 역할을 합니다.

예시의 확장: 주사위를 던질 때

1. 확률변수 X: 주사위를 던졌을 때 나오는 숫자 (1, 2, 3, 4, 5, 6 중 하나).
2. 확률분포:
   • P(X = 1) = 1/6,
   • P(X = 2) = 1/6, ... 등, 모든 숫자에 대해 확률은 동일하게 1/6.
3. 확률함수:
   • P(X = x) = 1/6, x∈{1,2,3,4,5,6}

이처럼 확률변수는 결과를 숫자로 표현하고, 확률분포는 그 숫자가 나올 확률을 나타내며, 확률함수는 이를 함수로 일반화한 것입니다.

 

4. 확률밀도 함수의 정의

• 확률밀도 함수 f(x)는 연속형 확률변수가 특정 값 주변에 얼마나 밀집되어 있는지를 나타냅니다.
• f(x)의 값은 "확률" 자체가 아니라 "밀도"를 의미하며, 특정 구간에서의 확률을 계산하려면 구간의 적분을 통해 구해야 합니다.
• f(x)의 모든 구간에 대한 적분은 1이 됩니다: $${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)dx=1$$

쉬운 예: 사람의 키

• 확률변수: 사람의 키 X를 연속적인 값으로 간주합니다(예: 150cm ~ 200cm).
• 확률밀도 함수:
  • f(x)는 키가 특정 값에 근처에서 얼마나 나올 가능성이 큰지를 밀도로 나타냅니다.
  • 특정 x = 170에서의 f(170) 값은 정확히 170cm에 해당하는 확률이 아니라, 주변 값에 걸쳐 있는 밀도를 나타냅니다.

확률 계산: 특정 구간의 확률

• 확률밀도 함수에서는 특정 "값"의 확률이 아니라, 특정 "구간"의 확률을 계산합니다.
  • 예를 들어, 키가 160cm에서 180cm 사이일 확률은 f(x)를 160에서 180까지 적분한 값입니다: $$P(160\le X\le 180)={\int }_{160}^{180}f(x)dx$$

확률밀도 함수와 이산형 확률 함수의 차이

구분이산형 확률분포연속형 확률밀도 함수

확률변수	개별 값 (ex: 0, 1, 2)	연속 값 (ex: 키, 온도)
함수의 역할	특정 값이 나올 확률 계산	특정 구간에서 확률 계산
함수 값의 의미	확률 자체 (P(X=x)P(X=x))	밀도 (f(x)f(x), 적분으로 구간 확률 계산)

대표적인 확률밀도 함수 예

• 정규분포 (가우스 분포):
  • 사람 키나 시험 성적과 같은 자연 데이터에서 자주 나타나는 확률밀도 함수입니다.
  • 수식: $$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}e-\frac{(x-\mu )2}{2{\sigma }^2}$$
    • μ: 평균
    • σ^2: 분산
  • 이 함수에서 구간을 적분하여 특정 범위의 확률을 계산합니다.

확률밀도 함수는 연속형 데이터의 분포를 이해하고, 구간별 확률을 구하는 데 필수적입니다.

 

인공지능에서 사용되는 예시

1. 확률변수

• 사용 예: 머신러닝 모델의 예측 결과를 표현
  • 확률변수는 예측 값이나 관측 데이터를 수치로 나타냅니다. 예를 들어, 스팸 필터에서 이메일이 스팸(1) 또는 스팸 아님(0)으로 분류될 때, 이 출력이 확률변수입니다.
  • 확률변수 X는 "이메일의 카테고리"를 나타내고, 머신러닝 모델은 P(X=1)과 P(X=0)(즉, 각 클래스의 확률)을 계산합니다.

2. 확률분포

• 사용 예: 베이지안 네트워크(Bayesian Networks)
  • 확률분포는 변수 간의 관계를 모델링할 때 사용됩니다. 예를 들어, 베이지안 네트워크는 의료 데이터에서 증상과 질병 간의 조건부 확률분포를 학습하고 활용합니다.
  • 특정 증상이 있을 때 특정 질병에 걸릴 확률을 계산하는 데 조건부 확률분포를 활용합니다.
  • 예: P(질병∣증상)

3. 확률함수

• 사용 예: 분류 모델의 출력 확률 계산
  • 확률함수는 모델이 예측한 각 클래스의 확률을 나타냅니다. 예를 들어, 소프트맥스(Softmax) 함수는 딥러닝 분류 모델의 출력 값을 확률로 변환하여 각 클래스에 속할 확률을 계산합니다.
  • 예: 이미지 분류 모델에서 고양이(P(X=고양이)=0.7)와 개(P(X=개)=0.3) 확률을 계산.

4. 확률밀도 함수(PDF)

• 사용 예: 생성 모델(GANs) 및 확률적 모델링
  • 확률밀도 함수는 연속형 데이터를 생성하거나 모델링할 때 사용됩니다.
  • 예를 들어, 생성적 적대 신경망(GANs)은 새로운 데이터를 생성할 때 목표 확률분포(예: 이미지의 픽셀 값 분포)에 근접하도록 학습합니다.
  • 또 다른 예는 변분 오토인코더(VAE)로, 데이터의 잠재공간(latent space)을 확률밀도 함수로 모델링합니다.
  • 특정 값이 주어졌을 때, 이 값이 특정 데이터 분포에 속할 확률을 계산합니다.

요약

• 확률변수: 분류 문제나 예측 모델에서 출력값을 수치화.
• 확률분포: 조건부 확률 등을 다루는 베이지안 네트워크와 같은 분야.
• 확률함수: 클래스 확률 계산(예: 소프트맥스).
• 확률밀도: 생성적 모델(GAN, VAE)에서 데이터 분포를 모델링.