[방송기술저널] 빅 데이터 산업은 데이터의 양적 폭발이 일어났던 빅 데이터 1.0시대를 지나 빅 데이터로부터 실질적 가치를 창출하는 빅 데이터 2.0시대로 진입하고 있다. 빅 데이터 2.0시대에는 과거 3V(양-Volume, 속도-Velocity, 다양성-Variety)에서 추가적으로 데이터의 가치(Value)에 초점이 맞춰지면서 4V(양-Volume, 속도-Velocity, 다양성-Variety, 가치-Value)로 개념이 확장되고 있다. 이는 빅 데이터를 하나의 자원으로서의 가치를 담고 독립적인 산업으로서 근거를 제시하기 위한 것으로 빅 데이터의 정의는 데이터를 수집, 저장, 처리, 분석하는 것뿐만 아니라 이로부터 새로운 가치를 창출하는 전 과정을 포괄하는 의미로 해석할 수 있다.
최근 기업들은 그들이 보유한 방대한 데이터를 효율적으로 관리하고 이로부터 유의미한 정보를 추출하는데 관심을 가지게 되면서 빅 데이터 도입을 가속화하고 있다. NewVantage Partners가 Fortune 1,000 대기업을 대상으로 실시한 빅 데이터 활용 현황 조사에 따르면 생산 업무에 빅 데이터 이니셔티브를 활용하고 있다는 응답이 67%로 전년도의 32%보다 두 배 이상 증가한 것으로 나타나 기업의 빅 데이터 활용이 크게 늘어나고 있음을 알 수 있다. 빅 데이터를 도입한 기업들은 빅 데이터를 단순히 정보수집의 용도로 활용하는 수준을 넘어 파일럿 테스트 등을 통해 고객 경험을 강화하고 업무효율을 개선하는 등 빅 데이터를 업무에 실질적으로 활용하기 시작했다.
본고에서는 이처럼 본격적인 개화기에 접어든 빅 데이터 산업을 거시적인 관점에서 시장 현황을 분석하고 산업 생태계적 관점에서 최근 기업 동향을 살펴보고자 한다. 이와 더불어 빅 데이터 산업의 성장에 따라 나타나는 다양한 이슈들을 짚어보고 향후 빅 데이터 산업이 진화할 방향을 논하고자 한다.
우선 거시적 관점에서 빅 데이터 산업의 현황을 살펴보면, 빅 데이터 산업은 2011년부터 급부상하여 아직은 태동기에 속하기 때문에 예측 기관의 주관에 따라 시장 규모와 전망이 큰 차이를 보인다. IDC(2012)는 전 세계 빅 데이터 기술 및 서비스 시장 규모를 2015년 약 183억 달러로 추정했고 연평균 31.7%(CAGR)씩 성장해 2016년에는 238억 달러에 이를 것으로 다소 보수적으로 예측한 반면, Wikibon(2014)은 전 세계 빅 데이터 시장 규모를 2015년 약 384억 달러에서 연평균 31.7%(CAGR)씩 성장해 2017년에는 최대 501억 달러 규모로 성장할 것으로 예측해 낙관적인 전망을 내놓았다.
한편 한국과학기술정보연구원(2013)에 따르면 한국의 빅 데이터 시장 규모는 2015년 약 2억 6천 3백만 달러(한화 약 3천억 원)에 이를 것으로 전망된다. 부문별 비중(2014년 기준)은 빅 데이터 서비스 부문이약 1억 2천 3백만 달러로 59%를 차지하고 소프트웨어 부문이 약 4천 7백만 달러로 23%, 하드웨어 부문이 약 3천 8백만 달러로 18%를 차지하는 것으로 나타나 글로벌 시장과는 달리 국내의 경우 서비스 중심의 시장이 형성되고 있다. 그러나 2014년부터 2017년까지 부문별 연평균 성장률을 살펴보면 하드웨어 부문이 34.3%, 소프트웨어 부문이 27.9%, 서비스 부문이 23.6%씩 성장할 것으로 전망됨에 따라 실질적인 빅 데이터 도입이 늘어나면서 빅 데이터 인프라 시장의 성장세가 두드러질 전망이다.
빅 데이터 산업 생태계에서 최근 나타나는 변화의 흐름을 살펴보면, 공급 측면에서는 Hadoop 2.2의 등장으로 빅 데이터 기술이 정교해지고 빅 데이터 벤더들의 프로페셔널 서비스가 다양해지는 가운데 빅 데이터 전문 기업이 부상하고 있다. 전통적으로 데이터베이스 산업에 강했던 IBM, 오라클, SAP 등이 해당사의 주력 제품에 빅 데이터 분석을 얹어 새로운 제품을 출시하고 있다. 2013년 매출 기준으로 빅 데이터 시장 상위 5개 사업자는 IBM, HP, DELL, SAP, TERADATA로 모두 IT 메가 벤더들이며 이들은 하드웨어의 강점을 토대로 다양한 포트폴리오를 구축하고 자본력을 앞세운 시장 확대 전략을 구사하고 있다. 가령 IBM은 수퍼 컴퓨터를 이용해 방대한 의료 데이터를 자동 분석하고 분석 결과를 질병 진단 등 의사의 진료 과정에 참고로 활용할 수 있도록 하는 시스템을 도입해 헬스케어 서비스 시장에 진출함과 동시에 Softlayer를 인수하여 빅 데이터의 새로운 성장 모멘텀으로 클라우드와 빅 데이터의 결합을 시도하고 있다.
이처럼 IT메가 벤더들이 SW와 서비스 영역으로 사업을 다각화하는 사이 순수 빅 데이터 전문 벤더들은 SW와 서비스 시장을 중심으로 프로페셔널 서비스를 제공하면서 점차 시장 점유율을 높이고 있다. 순수 빅 데이터 사업만으로 매출을 확보하는 전문 벤더들은 2013년 한해 약 30여개가 생겼으며 이들은 오픈소스를 주로 활용해서 새로운 제품과 서비스를 만들어 내고 있다. 특히 Palantir, Pivotal, splunk 등 빅 데이터 전문 벤더들은 IT 메가 벤더가 강세를 보이는 하드웨어 부문 대신 소프트웨어와 서비스 시장을 중심으로 사업 영역을 확장하고 있다.
수요 측면에서는 대기업의 빅 데이터 도입이 빠르게 확산되는 가운데 미디어·금융·서비스 산업을 중심으로 빅 데이터 수요가 급증하고 있다. Gartner에 따르면 빅 데이터에 투자를 진행하고 있는 사업자의 비중은 2012년 27%에서 2013년 30%로 점진적으로 증가하는 추세이며 산업별로는 미디어/커뮤니케이션 부문(35%), 금융 부문(34%), 서비스 부문(32%), 교육 부문(30%), 제조부문(28%) 순으로 빅 데이터 투자가 진행되고 있는 것으로 나타났다.
가장 높은 수요를 보이는 미디어/커뮤니케이션 산업의 빅 데이터 활용 사례를 살펴보면, 미국의 스트리밍 동영상 서비스 업체인 Netflix는 4800만 가입자로부터 발생하는 방대한 데이터를 축적하고 분석하여 가입자별 개인화된 영화 및 TV 프로그램 추천 서비스를 제공하고 있으며, 이용자에 따른 서비스 체감 품질(QoE) 개선에서도 빅 데이터 분석 기술을 적극 활용하고 있다. 한편 TV 시청 행태가 다양해지고 시청 방식의 급변으로 콘텐츠와 TV 서비스 기술이 빠르게 진화하는데 발 맞춰 미국의 신생 업체 Mixaroo는 ‘Boxfish’라는 빅 데이터 기반 콘텐츠 발견 서비스를 출시했다. 이 기술은 1,000여 개에 달하는 TV 채널에서 발생하는 모든 단어를 실시간으로 분석해 화제가 되는 주제어를 추출하여 동영상 콘텐츠를 추천하는 차세대 TV 가이드 플랫폼이다(Strabase, 2014a). 뿐만 아니라 Facebook은 소셜 데이터 분석 업체인 DataSift와 손을 잡고 특정 이벤트, 브랜드, 주제를 둘러싼 Facebook 이용자들의 데이터를 익명으로 수집하여 분석하는 신규 데이터 분석 서비스인 ‘Topic Data’를 지난 3월부터 출시해 기업에게 제공하기 시작했다. 이를 통해 Topic data 수요 기업들은 자사의 이슈에 대한 이용자들의 생각을 이해하고 고객의 니즈를 반영해 마케팅할 수 있게 되었다(Starabase, 2015). 또한 Verizon은 2012년 휴대전화 가입자의 인구 통계 데이터, 위치 정보, 앱 이용 행태와 관련한 데이터 정보를 제공하는 ‘Precision Market Insights’ 서비스를 출시하여 수익을 창출하기 시작했다(Strabase, 2013).
이처럼 빅 데이터가 창출해내는 가치가 커지고 빅 데이터 산업 생태계가 본격적으로 형성되면서 데이터를 자사 내에서만 폐쇄적으로 사용하는 것에서 벗어나 데이터를 직접 거래하기 위한 플랫폼도 등장하고 있다. 후지쯔는 2013년 세계 최초로 자사 보유 데이터뿐만 아니라 타사 이용자 데이터를 자유롭게 사고 팔 수 있는 빅 데이터 ‘중개’ 시스템인 ‘데이터 플라자(Data Plaza)’를 개설하였다. SNS, 통신, 제조, 전자상거래 등과 관련된 기업이 데이터 플라자에 가입할 것으로 기대되며, 후지쯔는 가입 기업 수를 2016년까지 1,000개를 목표로 하고 있다. 또한 데이터 플라자에 가입한 기업은 서버에 접속해 자신이 원하는 데이터를 선택할 수 있고 데이터의 양과 내용에 따라 차별화된 가격으로 거래할 수 있으며, 이질적인 사업 영역에서 기업은 자사에 필요한 데이터를 선택적으로 확보할 수 있어 기업의 경영 효율성 제고 및 수익 개선이 예상되며, 온라인 빅 데이터 거래 시장도 확대될 전망이다.
또한 데이터에 대한 개별 소비자의 주권이 확산되면서 소비자가 직접 자신의 데이터를 유통·거래해 수익화하는 개별 소비자의 데이터 수익화 플랫폼도 등장하고 있다(Strabase, 2014b). 미국의 신생 업체 ‘Datacoup’은 개별 소비자 데이터를 축적해 유통함으로써 수익을 창출하고 이를 다시 소비자에게 배당하는 서비스를 출시해 업계의 주목을 받았다. Datacoup은 개별 소비자가 직접 자신의 데이터를 수익화해 화제를 모았던 Kickstarter의 ‘A bite of Me’ 프로젝트를 집단화한 플랫폼으로 평가받고 있다. Datacoup에 가입된 이용자는 SNS를 통해 축적된 개인 프로필, 로그인 기록, 친구목록 등의 개인정보를 신용카드 사용으로 축적된 상점명, 결제액 등의 금융정보와 연계하여 제공. 이때 이용자는 자신의 데이터를 구매할 업체를 선택할 수 있다. Datacoup에서는 이러한 정보를 개인 비식별화 과정을 거친 후 광고 업체, 전자상거래 업체 등에 판매하여 수익을 창출하고 이를 다시 이용자에게 배분하는데 배당금은 데이터의 가치와 고객 평가에 따라 결정된다. 2014년 2월 기준으로 이미 약 1,500명의 이용자가 등록된 상태이며, 향후 착용형 라이프로깅 단말을 통한 데이터나 검색 기록 데이터도 판매할 계획이다.
한편 빅 데이터 분석 기술이 나날이 정교해지고 기업들은 광범위한 데이터로부터 가치 있는 정보를 추출하는데 집중하면서 해킹, 프라이버시 침해 등에 대한 우려도 점차 커지고 있다. 빅 데이터로부터 개인 식별 정보가 추출될 경우 해킹, 프라이버시 침해와 직결되기 때문에 빅 데이터의 개인 식별화는 빅 데이터 산업 성장의 가장 큰 위험요소로 간주된다. 일부 기업들은 다양한 정보 소스로부터 발생하는 방대한 개인 비식별 정보를 정교해진 데이터 마이닝 기술을 통해 개인 식별화하고 있으며, 이를 기반으로 표적 마케팅을 하는 것으로 나타나 논란이 되고 있다. 실제 미국의 일부 헬스케어 기업은 개인 의료 기록을 직접 열람하지 않으면서도 데이터 브로커, 약국, SNS에서 제공된 빅 데이터로 부터 데이터 마이닝을 거쳐 개인 의료정보를 프로파일링하고 이를 기반으로 임상실험 대상자를 표적 선발한 것으로 드러나 충격을 주고 있다(The Wall Street Journal, 2013).
이제껏 살펴본 바와 같이 빅 데이터 산업은 태동기에서 벗어나 진화 단계에 돌입하면서 기업의 빅 데이터 수요는 급증하고 데이터 수익화를 위한 다양한 비즈니스가 등장하고 있다. 나아가 사물인터넷(IoT)과 클라우드 컴퓨팅의 성장과 맞물려 데이터 중심 비즈니스(Data-Driven Business)의 확산은 더욱 가속화되면서 빅 데이터는 미디어/커뮤니케이션, 금융, 서비스 산업뿐만 아니라 비용 절감 효과를 누릴 수 있는 전자, 소재 산업 등 제조업 전반으로 확산되어 진화할 것이다. 빅 데이터란 무엇인지, 빅 데이터의 부작용은 없는지, 과연 경제적 효과가 있는지 등 빅 데이터의 버블과 우려 논란은 여전히 지속되고 있지만, 이제 빅 데이터는 하나의 산업으로서 자리매김하고 있어 빅 데이터의 실체에 대한 논란에서 벗어나 빅 데이터의 실질적 가치를 발굴하고 비즈니스로 연결시켜야 할 시점이다.
-Reference-
한국과학기술정보연구원(2013), “빅데이터 산업의 현황과 전망”, KISTI MARKET REPORT
전자뉴스(2013), “빅데이터 사고파는 장터 생긴다…개인정보보호 문제는?”, http://www.etnews.com/201301300508, 2013.1.30
IDC(2012), “Worldwide Big Data Technology and Services 2012-2016 Forecast”, 2012.12.
Wikibon(2014), “Big Data Vendor Revenue and Market Forecast, 2013-2017”, 2014.2.12.
Gartner(2014). “Survey Analysis: Big Data Investment Grows but Deployments Remain Scarce in 2014”
STRABASE(2013), “이통사와 웹서비스 진영, ‘이용자 데이터’ 수익화 위한 행보 강화, 데이터 주권에 눈 뜬 소비자의 역공 유발”, Trend Watch, 2013.8.28.
STRABASE(2014a), “차세대 TV 가이드 플랫폼 ‘Boxfish’, 실시간 TV 채널 분석으로 빅데이터 기반 콘텐츠 발견 서비스의 성공 사례 구현 기대”, Trend Watch, 2014.4.22.
STRABASE(2014b), “이용자 데이터 판매 중개 서비스 ‘Datacoup’의 등장…개별 소비자의 데이터 수익화 트렌드 확산 주도할까?”, TREND WATCH, 2014.3.11.
STRABASE(2015), “Facebook, 이용자 데이터 분석 서비스 ‘Topic Data’ 전격 공개…big Data 활용한 이용자 반응 분석으로 광고주 견인 기대”, Trend Watch, 2015.4.15.
The Wall Street Journal(2013), “정교해진 의료 데이터 마이닝, 사생활 침해 논란”, 2013.12.19.
