[데이터분석 입문]데이터분석의 필요성

A.데이터 분석의 필요성

1. 데이터 가치를 만드는 과정
"데이터는 활용가능성과 파급 효과를 계산해야 가치가 생김"

1) 목표설정 - "데이터로 무엇을 할지 결정"
2) 데이터 추출 - 필요한 부분만 추출
3) 데이터 요약, 시각화 모형 적합 - 정보나 인사이트 확인
4) 인사이트 활용


2. 데이터 분석의 가치

1) 불확실한 미래 대비 데이터 속의 인사이트 확인 - 미래 예측 가능
2) 데이터 기반의 의사결정 - 객관적 데이터 분석을 활용한 의사결정
3) 새로운 소통의 언어

 

B. 데이터 분석의 과정

1. 데이터분석의 절차와 방법
1) 분석 방법은 상황에 따라 유동적
2) 분석가가 방법을 결정
 - 분석 목표와 목적 고려
 - 데이터의 종류와 특성 고려

2. 연구와 비즈니스에서 데이터 분석
1) 연구에서 데이터 분석
 - 분석 목표 먼저 설정
 - 실험, 설문 등을 통해 데이터 수집

2) 비즈니스에서 데이터 분석
 - 기업 활동에서 쌓인 데이터 활용
 - 데이터로 분석 가능한 적절한 분석 목표 설정

3) 경계가 모호한 다양한 데이터 분석
 - 일반적으로 명확한 구분 어려움

3. 데이터 분석의 주요 과정
1) 데이터 수집하기
2) 분석에 알맞게 가공하기
3) 적절한 방법으로 데이터 분석하기
4) 분석 결과 시각화/문서화

 

C. 데이터 분석하기

1. 데이터의 종류
1) 내부 데이터 : 사내 DB, 기존연구
2) 직접 수집한 데이터 : 실험 결과, 설문/리서치 결과
3) 외부 데이터 : 정부기관의 공공 데이터, 일부 업체가 공개한 민간 데이터
4) 내부 데이터와 외부 데이터의 결합 : 더 많은 변수 간의 관계를 활용하여 심도 있는 분석 가능

2. 공공 데이터 활용
공공 데이터 포탈 : data.go.kr
통계청 mdis : mdis.kostat.go.kr
서울시 열린 데이터 광장 : data.seoul.go.kr

3. 민간 데이터 활용
sk 빅데이터 허브 : bigdata.co.kr
네이버 데이터랩 : datalab.naver.com
kaggle : kaggle.com

 

D. 분석에 알맞게 데이터 가공하기

1. 확증적 분석과 탐색적 분석
확증적 데이터 분석 정해져 있는 목표에 따라 단계적으로 실행하는 분석
추정, 검정을 활용해서 미리 설정한 가설을 확인

2. 탐색적 데이터 분석 변수 
 - 하나씩, 변수들 간의 관계를 살펴보는 과정
 - 데이터가 가진 특성을 확인하는 방법
 - 간단한 기술 통계량 계산과 다양한 그래프를 활용
 - 모든 데이터 분석의 시작 단계에서 필수적인 과정

3. 요약과 모형
요약 : 데이터를 압축하는 과정. 그룹별 평균 계산 등
모형 : 알고리즘을 활용해서 데이터 속의 정보를 찾아냄
가능성을 수치화된 확률로 설명함

4. 데이터 가공의 필요성
데이터 가공 : 데이터 인식과 분석을 위해 데이터 형태를 변환하는과정
1) 부분 데이터 선택
   관심있는 관측치와 변수를 선택
2) 기존 변수 결합, 분합하여 파생변수 생성

 

E. 적절한 방법으로 데이터 분석하기

1. 분석 절차
1) 분석 목표 설정
 - 실행 가능성과 활용 가능성을 고려해서 결정
2) 데이터 수집
 - 내부 데이터, 관련된 외부 데이터 활용
3) 탐색적 데이터 분석
 - 변수나 변수 관계에 대한 열린 분석 시작
4) 확증적 데이티 분석 / 모형 적합
 - 검정, 알고리즘을 활용한 분석 실행
 - 동일한 분석을 반복하여 결과의 재현 확인
 - 패드백을 통해 분석 목표 및 데이터 처리, 분석 방법 변경 고려
 - 분석의 정교화 및 모형의 고도화
5) 분석 결과 공유

2. 분석 결과 시각화/문서화 하기
분석 내용과 결과 요약
 - 전체 분석의 과정이 아닌 분석의 흐름을 이해할 수 있는 수준으로 요약
 - 효과적 전달을 위한 다양한 그래프 활용
 - 적절한 도구 활용 - MS office, markdown 기능 활용, 대시보드