빅데이터 시대의 도래

스마트 폰은 우리의 삶의 많은 부분을 변화시켰다. 휴대폰 알람을 통해서 잠에서 깨어서 다음(Daum)과 네이버(Naver)에 접속하여 오늘의 뉴스를 확인하고 위젯으로 설정한 날씨 어플리케이션을 확인하여 우산이 필요한지를 확인한다. 직장에서는 틈틈히 스마트 폰을 이용하여 인터넷을 검색하며, 개인 금융 업무도 간편하게 처리한다. 요즘 세대는 잠들지 않는 대부분의 시간을 스마트폰을 이용하여 무언가에 열중하며, 휴대폰이 내 곁에 없으면 마음이 불안해진다.

 

현재 사람들에 의해서 생성되고 있는 데이터의 양이 이전에 만들어진 데이터의 양과 비교가 되지 않을 정도로 빠른 속도로 생성되어지고 있다.이러한 이유로는 애플(Apple)의 스티브 잡스(Steven Paul Jobs)에 의한 스마트폰의 확산, 페이스북(Facebook)의 마크 주크버그(Mark Elliot Zuckerberg)로 대변되는 소셜 네트워크 서비스(SNS, Social Network Service) 의 힘이 컸다고 말할 수 있으며, 이러한 빅 데이터를 저장할 수 있는 매체 가격의 하락등과 맞물려서 천문학적으로 증가하고 있다..

 

전 세계에 10억명의 회원수를 보유하고 있는 페이스북(Facebook)의 경우 하루에 1억건이 넘는 메시지가 게시되고 있으며, 페이스북을 통해서 각 개인의 직업, 취미, 관심분야와 같은 신변정보들을 어렵지 않게 찾을수 있으며, 이를 통해서 구매하고 싶은 상품이 무엇인지를 명확하게 분석하여 기업의 이윤 추구에 활용할 수 있다.

 

불확실성과 복잡성이 증가하는 비즈니스 환경에서 소셜 네트워크를 통한 개인과 집단의 변화를 수집하고 이를 정확하게 분석하여 경영에 활용하는 예측능력의 중요성이 부각되고 있다.

 

미래 시장의 변화에 대한 예측은 이윤을 창출하고 지속 성장을 원하는 기업에게는 피할수 없는 생존의 문제이다. 광범위한 영역에서 수집할 수 있는 빅데이터을 통해 기업은 개인의 행동 패턴을 정확하게 예측할 수 있으며, 이를 통해서 미래의 흐름을 파악할 수 있다.

 

빅 데이터에 대한 정확한 예측을 시스템으로 자동화할 수 있다면 기업은 이를 통해서 실시간으로 고객이 원하는 니즈(needs)를 예측하여 마케팅에 활용할 수 있으며, 회사 운영에 대한 전략을 구상하는데 필요한 정보로도 활용할 수 있다.

 

기업 생존과 발전을 위해서 빅 데이터를 수집하고 분석할 수 있는 기술력과 인력을 확보하는것이 무엇보다 중요한 시점이라 할수 있다.

 

빅데이터(Big Data)와 하둡(Hadoop)을 분석하게 된 이유중에 하나가 인터넷에 존재하는 부동산과 관련된 정보들을 하둡을 통해서 수집, 분석하여 다양한 내용을 관련인들에게 실시간으로 제공하는 시스템을 만들고 싶어서이다.

 

다양한 경로를 통해 수집된 비정형화된 데이터를 통해서 현장에 가지 않고도 개인 취향에 맞는 상세한 정보들을 실시간으로 제공 받을 수 있는 시스템이다.

 

현재 부동산 정보들을 제공하는 사이트들은 많이 있다. 이들 대부분이 정형화된 형태로 데이터베이스에 저장된 자료를 분석하여 한정된 내용들을 사용자들에게 제공하고 있다. 예를 들면 단지규모, 대지지분, 조망권, 소음, 건축년도, 지명도, 지하철, 학군등과 같은 정보들이다.

 

다움, 네이버, 소셜네트워크에서 수집된 비정형 데이터를 이용하면 “어느 부동산 업체가 수수료가 싼지?”, “혐오 시설이 근처에 있는지?”, “교통편이 편한지?”, “주변에 성 범죄자가 살고 있는지?”, “강력범죄가 많이 일어나는지?”, “사람들이 이 지역을 어떻게 생각하는지?” 등과 같은 개인 맞춤형 정보들을 제공할 수 있다.

 

 

하둡(Hadoop)은 정보의 바다에서 의미가 없었던 자료속에서 금맥을 발견하도록 도와주는 도우미와 같은 존재이며 더 나아가 미래을 예측할 수 있는 훌륭한 도구가 될 것이다. 이를 통해서 사람들은 다양한 관점에서 지극히 개인적인 질문이 가능하며, 이에 대한 해답을 실시간으로 제공받을 수 있는 발판이 마련된 것이다.