머신러닝과 데이터 분석 A-Z 올인원 패키지 - 회귀분석_수학적 개념 이해(2) - 통계적 추론과 검정통계

위 강의노트는 패스트캠퍼스에서 주관하는 강의를 수강하고 작성한 노트입니다.

 

통계적 추론

모집단에 대해 알고싶은데 정보가 부족한 경우, 표본으로부터 모집단의 모수를 알아내고자 하는 과정.

• 점추정(Point estimation)

  • 추정량을 통해 모수를 추정
  • ex) ${\bar{X}, s^2 \to \mu, \sigma^2}$

• 구간 추정(Interval estimation)

  • 일정 신뢰수준 하에서 모수를 포함할 것으로 예상되는 구간을 제시
  • 신뢰수준유의수준($\alpha$)과 구간의 길이는 반비례
    
    

• 대립가설(H1)

  • 입증하여 주장하고자 하는 가설
• 귀무가설(H0)
  
  • 대립가설의 반대가설
  • 귀무가설이 아니라는 충분한 증거를 데이터로부터 보임으로써 대립가설을 입증
  • 귀무가설 하에서 통계량의 분포를 아는 것이 검정의 핵심

오류의 종류

• 1종 오류
  
  • 귀무가설이 맞을 때, 귀무가설을 기각하는 오류
  • 1종오류를 더욱 엄격하게 봄(최대한 범하지 않으려고 함)
• 2종오류
  
  • 귀무가설이 틀렸을 때, 귀무가설을 기각하지 않는 오류

	실제 진리
검정 결과	$H_0$ 참	$H_0$ 거짓
$H_0$ 채택	참	2종오류($\beta$)
$H_0$ 기각	1종오류($\alpha$)	참

 

검정통계량, 기각역

• 검정통계량
  
  • 표본에서 구해낼 수 있는 함수, 이 값을 기준으로 귀무가설 기각여부를 결정

• 기각역

  • 검정통계량이 취하는 구간 중 귀무가설을 기각하는 구간

• 단측검정

  • ${H_1 : \mu > \mu_0}$

• 양측검정
  • ${H_1 : \mu \ne \mu_0}$

 

유의확률

• 유의확률(P-value)

  • 주어진 검정통계량값을 기준으로 해당 값보다 대립가설을 더 선호하는 검정통계량 값이 나올 확률
  • 이 값이 유의수준보다 낮으면 귀무가설을 기각

• 검정통계량이 기각역보다 오른쪽에 있으면 기각한다.

• 우리가 설정해 놓은 유의수준보다 p_value가 더 낮으면 기각한다.

검정통계량과 관련된 분포

• Z통계량

  • 귀무가설 : X의 평균이 ${\mu_0}$이다.
  • ${Z = \frac{\bar{X} - \mu_0}{\sqrt{\frac{\sigma^2}{n}}} ~ N(0, 1)}$
    
    • 이 때 관측의 수가 충분하다면(30 개 이상) ${\sigma^2}$을 ${s^2}$으로 대체 가능.

• t분포

  • 자유도가 충분하지 않을 때 사용하는 분포
  • ${t = \frac{\bar{X} - \mu_0}{sqrt{\frac{s^2}{n}}}~t(n-1)}$
  • ${f(x;k) = \frac{1}{2^{k/2}\gamma(k/2)}x^{k/2-1}e^{-x/2}, x \ge 0}$
  • 자유도가 커질수록 정규분포에 근사

• 카이제곱 분포

  • ${Z ~ N(0, 1)}$일 때,
  • ${Z^2 \sim X_(1)^2, \sum_{i = 1}^kZ^2 \sim X_(k)^2}$
  • 확률변수의 제곱합으로 이루어진 통계량

• F분포

  • 두 확률변수 ${V_1, V_2}$가 자유도 ${k_1, k_2}$이고 서로 독립인 카이제곱 분포를 따를 때,
  • ${F = \frac{V_1/k_1}{V_2/k_2} ~ F(k_1, k_2)}$
  • 확률변수의 제곱합을 관측치로 나눈것의 비율로 이루어진 통계량