빅데이터의 개요

빅데이터는 대용량의 데이터를 활용, 분석하여 가치 있는 정보를 추출하고 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보화 기술을 의미합니다. 그 외에도 기술적, 규모적, 방법적인 빅데이터의 정의를 살펴보면 다음과 같습니다.

 

(기술적 정의) 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처. (IDC)

 

(규모적 정의) 일반적인 데이터베이스 소프트웨어가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터. (매틴지)

 

(방법적 정의) 빅데이터는 당초 수십~수천 테라바이트에 달하는 거대한 데이터 집합 자체만을 지칭하였으나, 점차 관련 도구, 플랫폼, 분석기법까지 포괄하는 용어로 변화. (삼성경제연구소)

 

 

빅데이터의 특징(6V)

빅데이터는 크기(Volume), 속도(Velocity), 다양성(Veriety)의 3V의 특징을 가지고 있으며, 최근에는 여기에 진실성(Veracity), 시각화(Visualization), 가치(Value)라는 키워드를 추가하여 6V의 특징을 가지고 있다고 합니다.

 

①크기(Volume)는 물리적인 크기뿐만 아니라 개념적인 범위까지 대규모인 데이터를 의미하는것으로 과거의 데이터 크기에 비하여 상대적으로 처리가 어려울 정도의 양을 의미합니다.

 

②속도(Volocity)는 데이터가 생성되는 속도 및 데이터를 처리하는 속도를 의미합니다.

 

③다양성(Variety)은 과거의 정형화된 데이터에 비하여 비정형화된 데이터까지 포함한 데이터의 형식 및 데이터를 수집하는 공간이 내부뿐만 아니라 외부의 데이터까지를 의미합니다.

 

④진실성(Veracity)이란 빅데이터 분석을 통해 얻은 통찰력은 이러한 통찰력이 목적으로 하는 비즈니스 의사 결정이나 활동의 배경을 고려하여 이용됨으로써 신뢰가 제고됨을 의미합니다.

 

⑤시각화(Visualization)는 사용자 친화적인 시각적 기능을 통해 빅데이터의 모든 잠재력이 활용될 수 있어야 함을 의미합니다. 그리고 이러한 특징을 바탕으로 도출된 결과를 ⑥가치(Value)라고 합니다.

 

 

빅데이터의 출현 배경

기존 소셜네트워크 서비스(SNS, Social Network Service)로 대표되는 소셜 미디어의 성장과 최근 스마트 폰으로 대변되는 모바일 장치의 확산이 결합되어 일상 속에서 다양한 종류와 대규모 데이터가 급속히 생성, 유통, 저장되고 있습니다.

 

또한 RFID와 같이 정보를 감지하는 센서 장비의 이용 확대와 이러한 정보를 수집하는 클라우드 컴퓨팅(Cloud Computing) 기술의 확산은 물류의 이동 및 재고의 변화뿐만이 아닌 개별 소비자들의 개인정보 및 소비형태와 같은 모든 일상에 대한 디지털 기록을 가능케하고 있습니다.

 

기업 및 사회는 이러한 수집된 데이터를 기반으로 예측 분석을 하기 위하여, 다양한 종류의 대규모 데이터 처리, 분석및 활용 기술을 필요로 하고 있습니다. 대량의 다양한 데이터 생산 기술의 진보와 이에 필요한 데이터 저장 관리 분석 기술의 발전 속에서 빅데이터가 출현하게 됩니다.