방송기술과 빅 데이터(Big Data)

[기고] 방송기술과 빅 데이터(Big Data)

1434

방송기술인의 큰 잔치인 KOBA 전시회가 끝났다. 이번 KOBA는 올림픽이나 월드컵 등 특별한 방송 이벤트가 없는 해에 개최되어, 오히려 방송기술의 진정한 Trend와 스마트폰 카메라의 성능에 집중(?) 할 수 있는 전시회였다.

SBS는 ‘KOBA 2013’ 참여 주제를 ‘All that Contents & Platforms’로 선정하였다. 방송사의 가장 큰 기능은 품격 있는 콘텐츠의 제작과 유통이다. 지상파 방송의 가장 오래된 플랫폼을 RF라 한다면, 케이블/인터넷 등의 다른 플랫폼이 생기면서 다양한 유통의 중요성이 부각되었다. 따라서 SBS는 2013 KOBA 전시회에서 콘텐츠의 제작 및 유통에 필요한 방송기술을 모두 보여주고자 하였다. ‘KOBA 2013’ SBS 전시관에서 전시되었던 아이템의 하나가 ‘소셜미디어 분석시스템’이다. Twitter나 Facebook 같은 소셜미디어를 분석하여 방송제작이나 유통에 활용하고자 하는 시도이다. 당연히 소셜미디어를 통해 생성된 빅 데이터를 처리하는 기술이 필요하다.

지금은 바야흐로 빅 데이터의 시대다. 빅 데이터 관련해서는 필자가 공과대학을 다녔던 시절(불과 30여 년 전), 어느 해 공대신문에 나왔던 그 해의 ‘공대 10대 뉴스’가 기억난다. 당시 10대 뉴스 중 첫 번째는 기억이 안 나고, 오히려 두 번째였던 것이 기억이 난다. 당시 두 번째 뉴스의 제목이 ‘공대 주전산기(Main Computer) 메모리 용량 2배로 – 16K에서 32K로’ 였었다. 요즘 사용되는 단위인 Mega, Giga나 Tera가 아닌 Kilo 단위이다. 그것도 주전산기의 주메모리가. 지금은 아주 간단한 워드프로세서 파일을 하나 만들더라도 최소 32K 정도의 용량은 될 것이다. 당시를 생각하면 더욱 재미있었던 것은, ‘와~ 그런데 과연 32K나 필요할까?’하던 같은 과 친구들의 반응이었다.

물론 필자를 포함해서. 호랑이 담배 먹던 시절이 아닌 30여 년 전의 일이다. 영화 ‘건축학 개론’을 보면 ‘아니 하드디스크가 1Giga?, 그러면 1,000Mega? 와~ 일생을 다 써도 못쓰겠다’라는 대사가 나온다. 이것도 시대배경이 불과 15년 전의 일이다. 방송에서도 제작 및 송출의 자동화가 이루어 지면서, Tapeless System 구축을 하였거나 구축 중인 방송사가 대부분이다.

이러한 시스템의 기본 특징은 대규모 용량의 Network과 더불어 Storage의 규모이다. 구축된 시스템의 Storage는 보통 수백 Tera Byte부터 Tera의 1,000배인 Peta Byte 수준이다. 방송사의 시즌제 예능 프로그램에는 보통 100 ~ 300 Tera Byte가 제공된다. 이 정도의 Storage 용량에도 담당 PD들은 Storage Quota가 적다고 난리다. 흔히 ‘물쓰듯 한다’는 표현을 생각하면 그야말로 ‘Storage를 물쓰듯 하고 있는’ 것 같다. 작년인 2012년에 인류가 만들어 낸 데이터의 양은 약 2조 7,000억 기가 바이트, 즉 2.7 제타(Jetta) 바이트나 된다고 한다. 작년 기준으로 매일 생성되는 데이터의 양만 약 7.5 엑사(Exa) 바이트인 것이다. 페타 바이트의 1,000배가 엑사 바이트, 엑사 바이트의 또 1,000배가 제타 바이트인 것을 감안하면 데이터 증가속도는 정말 엄청나다. 구글의 전 CEO이자 현 회장인 에릭 슈미트(Eric Schmidt)는 인류가 유사이래 2003년까지 만든 데이터의 양이 대략 5엑사 바이트라고 추론한 바 있다. 이를 바탕으로 하면 2013년 현재의 인류는 이전의 인류 역사 내내 만들어 온 데이터 양 이상을 매일 만들고 있다. 그야말로 데이터가 ‘물 밀듯이’ 쏟아져 나온다.

‘빅 데이터’란 대규모 데이터에 그치는 것이 물론 아니다. 축적된 빅 데이터에서 무언가 의미 있는 정보를 끌어내는 것이 그 목적이다. 빅 데이터의 모래밭에서 보석을 찾는 작업인 것이다. 그리고 역설적으로 빅 데이터를 분석하느라고 또 많은 데이터를 생성하고 있다. 빅 데이터 분석을 통해 나온 정보가 중요하게 평가 받는 이유는 ‘우리 중 그 누구도 우리 모두보다 현명하지는 않다’라는 기본논리에서 출발한다. 요즘 잘 나간다는 기업은 방향선정을 스마트하게 하기 위하여 이러한 빅 데이터를 신주모시듯 한다. 아마존닷컴(Amazon.com)의 CEO인 제프 베조스(Jeff Bezos)는 ‘우리는 절대로 데이터를 내다 버리지 않는다’고 하였다. Google 등의 Portal이 한 의미 있는 일 중의 하나는 기하급수적으로(아마도 ‘기하급수’ 보다 더 가파르게) 생성되는 데이터 콘텐츠를 빠르게 검색할 수 있도록 자체적인 Database 시스템을 구축하여 대응해 왔다는 점이다. 광대한 양의 데이터를 버리지 않으면서. 자 이제 이렇게 무시무시(?)하게 증가하는 빅 데이터의 시대에 필자를 포함한 방송기술인들은 과연 생존할 준비가 되어 있는 것일까? IBM CEO인 버지니아 로메티(Virginia Rometty)는 ‘앞으로 모든 산업에서 데이터가 승자와 패자를 나눌 것이다’라고 까지 말했다. 방송기술 부문도 빅 데이터를 대하는 태도에 따라 승승장구할 수도 있고, 그 존재가 미미하게 될 수도 있을 것이다.

방송기술인은 방송 제작, 송출시스템의 구축 및 운용에 관여하고 있다. 앞서 언급한 File 기반 Tapeless 제작/송출 시스템 등을 포함해서. 그러나 H/W나 시스템 구축을 주도하지만, 그 안의 데이터를 분석해서 의미 있는 정보를 추출하는 분야에는 소홀한 점이 있다. 예를 들어, 뉴미디어는 우리의 중요한 관심사이다. 하지만 추후 과연 어떤 뉴미디어가 살아남을지는 알기 어렵다. 이럴 때 소비자의 동향을 빅 데이터 분석을 통해 알아낼 수 있다면, 도태되지 않고 적절하게 뉴미디어의 Main Stream에 합류할 수 있을 것이다. 방송사고는 기술인력에게는 초미의 관심사이며 어쩌면 트라우마이기도 하다. 그러나 과거의 사고 데이터와 여러 방송사의 방송사고 사례의 빅 데이터를 분석하면 의미 있는 사고방지책을 찾을 수도 있다. 다행히 SNS 와 같은 소셜미디어를 분석해서 의미를 찾으려는 분야에 방송기술인들이 일부 관여하기 시작하였다. SBS도 이런 의미에서 ‘소셜미디어 분석시스템’을 개발하게 된 것이고, 향후 이러한 R&D를 더욱 확장하고 그 결과를 활용 할 것이다. 그 길만이 우리 방송기술인이 Technician이 아닌 Engineer로 존속하는 방법일 것이다. 미래에도 방송기술인들이 모래가 아니라 보석으로 쭈욱~ 존재하길 바라면서…

P.S 언젠가는 본고와 같은 컬럼도 빅 데이터 분석에 의해 자동으로 완성이 되는 시대가 올 것이다. 이 경우, 컬럼 원고료는 누가 받는 것이 맞을까? 빅 데이터 분석 프로그램이?