*“SI-외주 체제로 빅데이터 운영 불가능해”
 |
| 권영길 대표 |
|
 | |
그동안 해온 것처럼 데이터를 활용해 고객의 구매 패턴을 분석하고는 ‘빅데이터 시대’가 왔다고 하고 있으니 헷갈릴 법도 하다. 이는 장님 코끼리 만지는 격이다. 그와중에 6년 전부터 진짜 코끼리(하둡)를 키워왔던 전문가가 있었으니, 권영길 그루터 대표다.
그를 만나 빅데이터의 애매모호한 부분들에 대해 궁금한 점을 물어봤다. 그의 대답이 시원시원했다.
-그루터가 하는 일은?
빅데이터 플랫폼 구축을 하는데 필요한 컨설팅과 실제 구축업무를 수행하는 일을 주로 하고 트위터 등 소셜관련 데이터를 모니터링하고 분석해주는 일을 하고 있습니다. NDA(기밀유지 협약) 때문에 정확한 업체 명을 밝힐 수는 없지만 ‘보안’, ‘바이오인포매틱스’, ‘온라인 서비스’, ‘대용량 시스템 컨설팅’ 분야의 기업들과 협력해서 빅데이터 플랫폼을 구축 및 운영하고 있습니다.
-진행하고 있는 서비스들 소개해주세요
씨날, 클라우몬, 쿠바를 운영하고 있습니다. 씨날은 기업이 소셜미디어 데이터를 쉽게 모니터링하고 성과를 측정하기 위해 기획된 온라인 서비스입니다. 클라우몬은 빅데이터 관련 오픈소스 솔루션들을 모니터링하고 관리할 수 있도록 만든 솔루션입니다. 현재 하둡과 하둡 에코시스템으로 구성돼 있습니다. 쿠바는 하둡 중심의 빅데이터 플랫폼을 안정적으로 구축하기 위해 오픈소스의 취약점을 해결해주는 솔루션 및 기술 내재화 지원을 위해 현업과 공동으로 프로젝트를 수행하는 등 다양한 기능으로 구성된 패키지입니다.
제공하는 서비스가 복잡해 보이죠? 빅데이터 플랫폼이 한 두 개의 솔루션 및 프로젝트로 구축되는 게 아니기 때문에 그렇습니다.
-최근 GS이숍(GS-ESHOP)에 빅데이터 플랫폼을 구축했는데요
GS이숍은 그루터가 사례를 공개할 수 있는 몇 안되는 경우입니다. 자체적으로 하둡을 도입하고 본격적으로 서비스 운영 단계로 가고자 그루터와 같이 플랫폼 구축을 진행하고 있습니다.
어떤 기업이든 사용자 분석에 대한 욕구는 있습니다. 그것이 대표적으로 CRM(고객관계관리) 솔루션으로 운영됐죠. 그러나 기존의 CRM은 고객의 다양한 관점을 분석하기 보다는 관리 가능한 정형화된 데이터 중심으로 진행됐습니다. 기술적인 어려움과 비용적인 한계로 투자대비비용(ROI)이 없었기 때문입니다.
하둡의 등장이 이를 해소했습니다. 이제는 로그성 데이터에 해당되는 고객의 모든 행동을 저장하고 분석하는 시대가 온 것입니다. 고가 장비도 필요 없기 때문에 투자비용을 확 낮출 수 있게 됐습니다.
하지만 기업이 빅데이터를 다루려면 데이터의 생성, 수집, 저장, 분석 등 전 과정을 아울러야 합니다. 국내 기업의 문화와 맞지 않죠. 한 번 볼까요. 우리나라는 발주업체(현업)가 SI업체에 의뢰하고, SI업체는 수행업체에 또 외주를 줍니다. 결국 현업은 데이터 프로세스에 대해 잘 모르는 구조로 가게 되죠.
기업 스스로 빅데이터를 공부해서 인력을 키워야 합니다. 솔루션 만든다고 끝나는 게 아니죠. 앞서 설명한 데이터 프로세스를 개발하려면 데이터 사이언티스트(데이터 프로세스를 활용해 정보를 요청하는 고객에게 최선의 기대 서비스를 제공하는 전문가)를 양성해야 합니다. 빅데이터 플랫폼의 내재화를 위해 꼭 필요한 것입니다.
-빅데이터가 갖는 가치는?
빅데이터는 기존의 가치를 더 높이기 위한 목적도 있지만 기존에 엄두내지 못했던 새로운 가치를 찾는다는 부분에서 더 활발히 이뤄지고 있습니다. 2000년대 중반 클라우드 컴퓨팅이라는 기술적 트렌드가 성숙하면서 나타난 새로운 현상으로 볼 수 있습니다.
빅데이터도 데이터의 범주에 속해있기 때문에 데이터가 갖는 속성을 다 갖고 있습니다. 이 때문에 “옛날부터 빅데이터를 이용해왔다”고 주장하는 기업들도 있죠. 하지만 데이터 자체를 빅데이터라고 하는 태도는 경계해야 합니다. 단순히 큰 데이터라고 빅데이터가 되는 게 아니죠. DW(데이터웨어하우스)로 처리하지 못하는 로그데이터 등이 해당됩니다.
빅데이터 분석을 가능케 했던 것에는 하둡이라는 기술이 자리 잡고 있습니다. 하둡은 기존에 풀기 힘들었던 대용량 데이터를 저장하고 분석할 수 있게 해주었고 이를 기반으로 관련 기술들이 나옴으로서 실시간에 가깝게 분석하는 기술적 발전까지 이끌고 있음과 동시에 이같은 데이터의 처리 비용을 절감시켰습니다.
물론 과거의 데이터베이스, DW 등도 중요한 기술이고 필요한 것입니다. 이에 해당되는 데이터들은 과거와 같은 방식으로 처리하면 됩니다. 굳이 닭 잡는 데 소 잡는 칼을 쓸 필요 없죠.
-빅데이터 플랫폼을 국내 기업에 적용하기 어렵다?
해외 벤더들은 하둡이 필요 없다고 주장하기도 하죠. 이는 거짓말입니다. 이들은 하둡이 알려지자 일종의 경계심을 갖고 클라우드 컴퓨팅 기술을 폄하하거나 이를 무용지물로 인식시키기 위해 노력했습니다. 하지만 벤더들의 해외본사에서는 줄줄이 자체 하둡 어플라이언스들을 발표했죠. 델, 오라클, HP, EMC, TeraData 등 대부분 벤더들의 사례가 그렇습니다.
이들은 하둡이 새로운 길이라고 주장합니다. 그런데 유독 한국에 와서는 (하둡이) 필요 없다고 설득하고 있죠. 현재 지원할 수 있는 기술이나 협력업체가 없기 때문에 영업이라는 관점에서 이해할 수는 있지만, 이는 고객의 눈을 가리는 행위입니다.
벤더솔루션을 좋아하는 우리나라 SI 기업문화도 한몫 합니다. 현업이 움직이지 않고, 소위 SI 업체라고 하는 을이 모든 것을 주도하고 운영하는 개발문화에는 솔루션 중심의 구축이 우선시 됩니다.
그러나 빅데이터는 아직 솔루션으로 인정하기 어려운 부분이 많습니다. 빅데이터 속성 자체가 다양한 기술들이 조합돼야 하는 플랫폼적인 성격이 강하고 아직 누구나 사용하고 안정적으로 운영할 수 있는 성숙단계에 이르지 못했기 때문입니다. 이러한 환경에서 여러 수행업체와 일을 해야 하는 SI업체의 프로젝트 방법과는 맞지 않을 수 있습니다.
-빅데이터, 그루터의 조언
‘빅데이터’ 관련해서 많은 문의를 받습니다. 많은 기업들은 빅데이터를 솔루션쯤으로 생각하고 일단 설치해달라는 식으로 접근합니다. 하지만 그렇게 해서는 절대로 성과를 얻을 수 없습니다. 그루터는 해당 기업이 빅데이터 플랫폼을 내재화시킬 수 있는 환경, 성공적인 서비스로 운영할 수 있는 환경을 갖출 수 없다면 금액과 관계없이 진행하지 않습니다.
빅데이터를 하고 싶은 기업은 장기적인 비전을 갖고 자체 데이터사이언티스트를 키워야합니다. 빅데이터 자체가 단기간에 해결할 수 있는 게 아닙니다. 시행착오를 거쳐야 합니다. 6개월 후, 1년 후를 보고 가야하죠. 가장 어리석은 것이 외부 전문가를 초빙하거나, 빅데이터 플랫폼을 구축만 하고 끝이라고 생각하는 태도입니다.
특히 IT 업체에 의존하는 태도는 지양해야 합니다. SI문화가 팽배한 우리나라 조직들에는 빅데이터 하지 말고 DW이용해서 과거처럼 살아도 된다고 말하고 싶습니다. 10억, 20억 들여서 플랫폼 구축하면 뭐합니까. 투자대비비용도 나오지 않습니다.
PC 4대에 하둡 설치해서 맨땅에 헤딩하는 자세로 시작해 보세요. 그 이후에도 모르겠다면 그루터에 문의를 하면 됩니다.
※권영길 그루터 대표는...
경제학 출신 석사로 한국은행 금융경제연구소 RA(Research Assistant)로 있다가 중앙일보 데이터뱅크국(현재의 조인스)에서 경제통계전문가로 일했다. 중앙일보 퇴사 후 데이터를 수집·모니터링·분석하는 사업을 시작했고 2006년부터는 야후파트너로 일했다. 그러다가 그해 하둡이 등장했고 2007년 국내 최초 실제 서비스로 사용하기 시작했다. 하둡 도입 후 끊임없는 업그레이드와 개발 끝에 지금의 그루터가 있다.
