 |
| 페이스북에서 빅데이터의 흔적을 찾아보자 /사진=페이스북 |
페이스북을 하다보면 오른쪽 상단에 '알 수도 있는 사람'이라는 목록이 눈에 띈다. 마우스를 클릭하면 놀라운 광경이 연출된다. 과거 여친, 남친까지 찾아주는 맞춤형(?) 결과가 나오는 것이다.
일단 페이스북에 가입하며 남긴 이메일, 직장, 대학 등이 근거가 돼 그와 같은 범주의 데이터를 입력한 사람들을 곧바로 이어준다. 이 같이 사소한 정보에서 시작해 거미줄 같은 연관성을 만들어내는 것. 바야흐로 빅데이터 시대다.
빅데이터의 정의부터 살펴보면 문자 그대로 ‘크다’는 뜻을 갖고 있다. 하지만 이는 분석할 수 없을 정도의 방대한 양의 데이터를 뜻한다. 3V(대용량의 Volume, 다양성의 Variety, 속도의 Velocity)의 조건을 충족하는 것이 빅데이터로 통용된다.
특히 용량의 측면에서 상당히 가변적이다. 현재는 테라바이트(1TB=1024GB), 페타바이트(1PB=1024TB)가 해당되지만, 앞으로는 더 큰 용량의 데이터가 ‘빅 데이터’란 칭호를 갖게 된다는 의미다. 상대적으로 용량이 클 뿐만 아니라, 형식을 규정할 수 없을 정도의 다양성, 트위터로 대표되는 빠른 속도의 분산 능력을 갖춘 데이터가 해당된다.
빅데이터는 기존의 기업들이 측정해온 ‘수치’ 차원을 넘어선다. 우리가 트위터나 페이스북을 통해 남기는 사진, 제품에 대한 평가, 체크인 등이 이에 해당된다. 싱싱하나 조리되지 않은 날생선 같다고 할 수 있을까. 초기 많은 기업들이 저장의 한계 및 효율을 위해 폐기했던 데이터들이 하나의 흐름을 만들어냈다.
무엇이 빅데이터를 가능하게 하였는가. 경제적·효율적으로 방대한 데이터를 저장 및 분석할 수 있는 기술 때문이다. 일례로 페이스북은 매달 300억 건 이상의 콘텐츠를 생산한다. 이는 이만큼의 분량을 감당할 기술이 있기에 가능한 것이다.
‘하둡’이란 오픈소스 플랫폼이 가능케 했다. 이는 구글이 지난 2004년 개발한 맵리듀스(MapReduce)를 오픈소스로 만든 것으로 현재 아파치 소프트웨어 재단에서 개발을 진행하고 있다. 이를 통해 고용량, 비 구조화된 데이터들을 처리할 수 있게 됐다. 비용이 저렴한 x86서버로 대용량 저장소의 구성 및 분산을 가능케 했다.
 |
| 포털사이트 야후는 지난해 2월 13일 빅데이터를 시각화 한 사이트를 개설했다 /사진=야후 |
그래서 빅데이터로 무엇을 할 수 있다는 말일까. 사람들이 트위터나 페이스북에 남긴 사소한 정보들로 제품의 구매 방향, 소비 습관 등을 분석해 최적의 마케팅을 펼칠 수 있게 만들었다. 더 쉽게 말하면 프랜차이즈점에서 구매할 때 이용하는 멤버십 카드로 우리의 구매 패턴이 분석될 수 있다는 것이다.
혹자는 빅브라더 사회를 떠올린다. 이는 정보의 독점으로 사회를 통제하는 권력, 체계 속에 사소한 행동마저 감시당하는 사회로 영국 소설가 조지 오웰의 소설 ‘1984년’에서 등장하는 독재자의 이름을 따서 제조된 단어다. 최근에도 배우자 불륜 뒷조사를 위해 불법적인 위치 추적이 숱하게 벌어지는 가운데, 이 같은 우려는 나날이 커지고 있다.
하지만 우리는 자발적으로 프라이버시를 노출하는 사회에 살고 있다. 싸이월드 미니홈피를 통해 자신의 속 얘기를 사람들에게 알렸던 것에서 시작한 이 흐름은 페이스북 체크인 기능을 통해 현재 있는 장소를 스스로 공개하고 있다. 그뿐 만이 아니다. 우리의 정치정 성향, 경제적 구매 패턴 또한 스스로 알리고 있는 것이 현실이다.
빅데이터 시대는 데이터의 ‘효율적·긍정적 사용’을 내세운다. CCTV를 화장실에 설치한다면 사생활 침해 범죄에 해당된다. 하지만 대형마트에 CCTV를 설치하고 그곳을 들르는 고객들의 구매 패턴을 분석해서 적재적소한 위치에 제품들을 배치해 편리함을 주면, 이것은 혁신이 된다.
이로써 비 구조화 된 데이터를 생산·저장·분석하는 사회적·과학적 체계가 마련됐다. 우리는 이 틀 속에서 기쁨, 슬픔 등의 감정에서 제품에 대한 평가 등 우리의 프라이버시를 매일 같이 쏟아 붓고 있다. 빠져나오기엔 늦었다. 우리는 이미 빅데이터의 시대에 살고 있다.
