1. 빅데이터의 이해

 

🔷빅데이터의 정의

일반적 정의 큰 용량과 복잡성으로 기존 방법이나 도구로 수집, 저장, 분석 등이 어려운 정형 및 비정형 데이터
가트너(Gartner) 항샹된 시사점과 더 나은 의사결정을 위해 사용되는 비용 효율이 높고 혁신적이며 대용량,
고속 및 다양성의 특성을 가진 정보 자산을 말한다.
매킨지(McKinsey) 일반적으로 데이터베이스 소프트웨어가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
IDC 다양한 종류의 대규모 데이터에서 낮은 비용으로 가치를 추출하고, 데이터의 초고속 수집과 발굴을 지원하도록 고안된 차세대 기술 및 아키텍처
일본 노무라연구소 데이터와 데이터 처리, 저장 및 분석기술에 의미있는 정보 도출은 물론이고, 그에 필요한 인재나 조직까지도 넓은 의미의 빅데이터에 포함시킬 것을 제안
더그 래니(Doug Laney) 3V 데이터의 양(Volume), 데이터의 유형과 소스의 다양성(Variety), 속도(Velocity)가 급격히 증가하면서 나타나는 현상
마이어쇤베르크와 쿠키어 대용량 데이터를 활용해 작은 용량으로는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일
한국데이터산업진흥원 데이터에 대한 기존의 접근 방식으로는 얻을 수 없었던 통찰과 창출하는 모든 것

 

 

🔷빅데이터의 특징

 

더그래니의 3V

- Volume (양) : 데이터 양의 증가

- Variety (유형) : 데이터의 유형 증가

- Velocity (속도) : 데이터의 수집과 속도 증가

 

+ 2V

Value (가치) : 다른 데이터와 연계 시 가치가 배로 증대, 데이터 안에 숨겨진 가치 발굴이 중요

Veracity(정확성) : 빅데이터 기반의 예측 분석 결과에 대한 신뢰성이 중요

 

 

2. 빅데이터의 출현 배경

🔷빅데이터의 출현 배경

 

① 데이터의 양적 증가

② 산업계의 변화

③ 학계의 변화

④ 관련 기술의 발전

(●'◡'●)

클라우드 컴퓨팅

1. 많은 정보가 클라우드에 수집

2. 빅데이터 처리 비용 획기적으로 낮춤

빅데이터 분석에 경제성을 제공해준 대표적인 기술

 

 

🔷빅데이터의 기능과 변화

 

⚫ 빅데이터의 기대

" 산업혁명의 석탄 • 철 " 제조업뿐만 아니라 서비스 분야의 생산성을 획기적으로 사회, 경제, 문화, 생활 전반에 혁명적인 결과를 가져올 것으로 기대
" 21세기 원유 " 원유처럼 각종 경제성장에 필요한 정보를 제공하여 산업 전반의 생산성 향상 및 새로운 범주의 산업을 만들어 낼 것으로 기대
" 렌즈 " 렌즈를 통해 현미경이 생물학 발전에 끼쳤던 영향만큼 산업 발전에 큰 영향을 줄 것으로 기대
예) 구글 Ngram Viewer
" 플랫폼 " 플랫폼은 공동 활동의 목적으로 구축된 유무형의 구조물을 말한다.
플랫폼으로서 다양한 서드파티 비즈니스에 활용 될 것으로 기대
예) 페이스북, 카카오톡 등

 

 

⚫빅데이터가 만들어내는 변화

 

사전처리 사후처리
표본조사 전수조사
인과관계 상관관계

 

 

 

 

 

 

[참고 도서]

출처 :

이지패스 2024 ADsP 데이터분석 준전문가

2024 이기적 빅데이터분석기사 필기 기본서

2024 최단기 빅데이터 분석기사 필기: 이론편