빅데이터 시각화 분석 방법

빅데이터를 모델링(가공)해서 시각화 분석하는 방안을 정리해 보았습니다.

요즘 가장 핫한 분야로 공공, 제조, 금융 등 모든 산업 분야에서 기업만의 모델을 만들고

그 안에서 새로운 사실을 증명하여, 기업 성과에 반영하고자 노력하고 있습니다.

시각화 분석을 위해 정제, 가공된 데이터를 기반으로 고급 분석을 위한 모델링(가설 수립) 기법을 선별하고, 분석 모델에 맞게 데이터를 가공, 변환하고 모델을 반복적으로 실행하여, 그 결과를 그래프를 이용하여 명확하게 전달해야 한다

시각화 기술을 이용하여 데이터만 살펴볼 때 쉽게 파악할 수 없었던, 복잡한 데이터 관계를 발견할 수 있다.

○모델링 기법 선별

  - 연관성규칙발견: 데이터 안에 존재하는 항목간의 연관규칙(association rule)을 발견하는 분석 기법

  - 사례기반추론: 과거에 있었던 사례(케이스)들의 결과를 바탕으로 새로운 사례의 결과를 예측하는 분석 기법

  - 군집분석: 데이터 안에서 유사한 것들을 몇몇의 집단으로 그룹화하여, 각 집단의 성격을 파악하는 분석 기법

  - 회귀분석: 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한뒤 적합도를 측정해 내는 분석 기법으로
   시간에 따라 변화하는 데이터나 어떤 영향, 가설적 실험, 인과 관계의 모델링등의 통계적 예측 기법

  - 인공신경망: 기계학습 그리고 인지과학에서의 인공신경망은 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘

  - R 연결분석: 오픈 소스 통계 패키지에서 제공하는 다양한 알고리즘을 재활용하는 분석 방법으로 이미 검증된 7,100개의 알고리즘 활용

  - OLAP: 사용자가 동일한 데이터를 여러 기준을 이용하는 다양한 방식으로 검색하고 분석하는 다차원 데이터 분석 기법

 

○ 모델링 기법에 따라 전처리

 - 고급통계 모델링 기법에 적합하게 사용할 데이터를 가공(변경) 한다.

 - 가공 기법으로는 새로운 컬럼 생성, 특정 컬럼 삭제, 설정 기준에 따라 정렬, 특정 값을 결측치로 변경, 결측치를 다시 특정 값으로 변경,
   결측치를 사용자 지정 그룹별 통계치로 변경, 데이터 정규화 또는 표준화 처리, 열을 행으로 변경, 행을 열로 변경,
   2개의 이 기종 데이터셋을 통합, 여러 개의 데이터셋을 세로 병합, 그룹별 순위 지정 등 다양한 기법을 이용하여 데이터를 전처리 합니다.

 

○ 모델링(학습/예측) 실행

 - 분석 모델별로 목표변수를 조절하면서 반복 실행하여 예측된 결과를 저장한다.

 - 최적의 결과를 도출한 모델을 확정한다.

○ 시각화 분석

 - 분석결과를 명확하게 파악하기 위해, 다양한 시각화 차트를 이용하여 데이터를 시각화 합니다.

 - 비정형(Pivot) 분석기법으로 담당자가 필요한 항목만 선택하여 EUC(End user computing)방법 분석합니다.

 - 수식입력, 함수마법사, 도형/다이어그램/그래프 등의 컴포넌트, 조건부서식 등의 다양하고 강력한 엑셀 기능을 100% 활용해
  다양한 분석 리포트를 작성하고, 보고서 배포 후, 웹 상에서 엑셀의 모든 기능을 사용할 수 있으며, 현업 담당자에 의한 2차 분석이 가능하다.