[통계 101 x 데이터 분석] 통계학이란?

데이터란?

데이터 : 흥미가 있는 대상을 관찰하고 측정함으로써, 그 대상의 정보, 즉 '데이터'를 얻을 수 있습니다.

데이터는 수치의 모음으로, 막연히 바라보기만 해서는 무엇인지 제대로 알 수 없습니다.

 

데이터 분석의 목적

1. 데이터를 요약하는 것

2. 대상을 설명하는 것

3. 새로 얻을 데이터를 예측하는 것

 

1. 데이터 요약

아무런 처리도 하지 않은 원자료는 수치의 나열 뿐 바라보기만 해서는 경향을 파악할 수 없습니다.

따라서 데이터를 요약하고 정리할 방법이 필요하다.

 

2. 대상 설명

대상이 가진 성질과 관계성을 명확히 밝히고 이를 이해한다.

통계학에 의거한 데이터 분석은, 데이터를 정량적이고 객관적으로 평가하여

대상이 가진 성질과 관계성을 올바르게 찾고자 하는 시도입니다.

예제 데이터

 

신약이 위약(예제)보다 평균 혈압을 내려감을 알 수 있고, 연소득과 행복도(예제) 높은 경향을 띄고 있다.

이를 통해 객관적인 증거를 손에 넣을 수 있습니다.

 

설명에는 수준이 있다.

관계성에는 인과관계와 상관관계가 있다. 

인과관계란 2가지 중 원인을 변화시키면 결과도 바뀔 수 있는 관계이다.

상관관계란 한쪽이 크면 다른 한쪽도 큰 관계를 뜻한다.

 

3. 미지의 데이터 예측

이미 얻은 데이터를 기반으로, 이후 새롭게 얻을 데이터를 예측하는 것

 

통계학의 역할

데이터 분석에서 통계학의 중요한 역할은, 퍼짐(산포)이 있는 데이터에 대해 설명이나 예측을 하는 것

현실에는 데이터 퍼짐이 가득하고, 대상이 가진 성질이나 관계성의 본모습을 정확하게 파악할 수 없도록 합니다.

 

통계학은 이러한 데이터퍼짐을 불확실성이라 평가하고, 통계학의 목적인 대상의 설명과 예측을 수행한다.

 

• 확률을 사용하자

데이터 퍼짐이나 불확실성을 확률로 나타내는 확률론

 

통계학의 전체 모습

기술통계와 추론 통계

기술통계 : 수집한 데이터를 정리하고 요약하는 방법

추론통계 : 수집한 데이터로부터 데이터의 발생원을 추정하는 방법

 

확률모형

1. 표본 공간 : 가능한 모든 결과의 집합

ex) 동전 앞, 뒤

 

2. 확률 변수 : 표본 공간의 각 결과에 숫자를 할당하는 함수

• 이산형 확률 변수
• 연속형 확률 변수

3. 확률 분포 : 확률 변수가 특정 값 또는 범위에 속할 확률

• 이산형 분포
• 연속형 분포

 

통계적 추론과 가설검정

통계적 추론 : 데이터에서 가정한 확률 모형의 성질을 추정하는 방법

가설검정 : 세운 가설과 얻은 데이터가 얼마나 들어맞는지를 평가하여, 가설을 채택할 것인가 판단하는 방법

 

주요 기법

1. 점 추정 : 모집단의 특정한 평균, 분산을 하나의 값으로 추정
2. 구간 추정 : 모집단의 특정한 값이 특정 범위에 있을 확률
3. 가설검정 : 특정 가설이 참인지 거짓인지 검증