[방송기술저널=김정섭 KBS 청주방송총국 기술국] 네덜란드 암스테르담 RAI 컨벤션 센터에서 열린 유럽 최대의 방송장비 전시회인 IBC에 다녀왔다. 넓은 전시장 크기만큼 전 세계의 다양한 방송 장비 업체가 자신들의 제품과 솔루션을 선보였고, 방송기술 R&D를 선도하고 있는 해외 방송사의 모습도 엿볼 수 있었다. 또한 방송뿐만 아니라 미디어 산업을 이끌고 있는 다양한 강연자가 진행한 콘퍼런스에서는 미디어와 IT에 관련한 지식과 정보를 나누고 업계의 향후 로드맵에 대해 열띤 토론을 했다.
미디어 플랫폼 진화에 대한 예측, 그리고 그것을 이용하는 소비자의 이용 행태에 대한 많은 이야기가 오갔다. 또한 새로운 IT인 AI, 딥러닝, 빅데이터, 5G 통신망을 어떻게 방송 미디어에서 이용할지에 대한 고민을 나눴다.
◇ IP&OTT
‘정말 IP가 방송에 영향을 줄 수 있나?’라는 주제로 진행된 콘퍼런스 세션에서는 EU의 미디어 소비 행태 변화를 보여주며 IP&OTT가 발전함에 따라 어떻게 방송에 영향을 미치는지에 대해 언급했다.
우리나라처럼 영국도 TV/VOD에 대한 소비는 55세 이상을 제외하고 꾸준히 증가하고 있으며, 특히 10대에서 30대 사이에서는 TV보다 태블릿, 스마트폰, PC 등 다른 플랫폼을 이용해 미디어를 소비하는 모습이 뚜렷하게 나타났다. 그들은 단순히 ‘TV 시청률’을 통해 프로그램을 평가하는 지금의 방식은 의미를 잃어가리라 예측했다. 어떤 디바이스를 통해 언제 어디서 방송을 시청하는지가 앞으로는 더욱 중요해질 것이고, 이를 분석하고 Data화하는 것이 큰 과제일 것이다.
또한, IP의 가장 중요한 부분은 단순히 Live TV를 단방향으로 보여주는 이전의 방식과는 다르게 쌍방향으로 소통하며 여러 가지 산업과 융합한다는 점이다. 발표자는 영화, 뉴스, 스포츠, 엔터테인먼트 등 다양한 콘텐츠가 섞이면서 VOD 수요 증가에 더 큰 영향을 미치고 있다고 설명했다. 이런 융합은 전체 미디어의 생산과 소비량을 훨씬 증가시킬 것으로 예측된다.
◇ BIGDATA & Machine Learning
‘빅데이터’는 다른 산업에서는 이미 익숙한 단어일 것이다. 기업은 고객의 데이터를 분석해 다양하게 마케팅에 활용하고 있으며, 의료 산업, 선거, 공공 부분에서도 빅데이터를 활용해 엄청난 효과를 내고 있다.
Netflix의 경우 빅데이터를 이용해 시청자에 대한 분석과 대응을 하고 있었다. 시청자가 원하는 콘텐츠를 알맞게 추천해주면서 그들의 소비를 촉진하고 있었다. 공포 영화를 좋아하는 시청자가 A라는 영화를 다 보고 난 뒤 어떤 콘텐츠를 선택하는지, 비가 오는 우중충한 날에 코믹물을 보는지 슬픈 드라마를 보는지 분석해서 시청자가 원하는 콘텐츠를 제공하자, 소비량이 눈에 띄게 증가하는 결과가 나타났다고 한다.
즉 나이, 연령, 날씨, 선호 장르, 언제 콘텐츠를 시청하고 끝내는지 등 소비자와 소비 성향에 대한 빅데이터의 획득, 분석과 활용은 앞으로 미디어 산업에 중요한 역할을 할 것이다.
시청자에 대한 빅데이터뿐만 아니라 콘텐츠에 대한 데이터도 획득, 분석하고 있었다. 영상에 나오는 색상의 변화, 등장인물의 등장 시간, 한 Scene의 길이와 진행 속도, Audio를 통해 나타나는 감정, 특정 키워드에 대한 등장 횟수 등을 가지고 시청자의 소비 행태와 연관 지어 분석하고 있다.
Vionlabs는 이런 빅데이터를 활용하는 방법을 다섯 단계로 나눠 설명했다.
① 데이터를 모은다
② 데이터를 구조화한다
③ 데이터에 접근 가능하게 한다
④ 시각적으로 그 데이터를 표현한다
⑤ 보이는 데이터를 활용한다
또한, Machine Learning을 이용해 광고 문구, 타이틀 등을 화면에 알맞게 넣는 기술도 선보였다. 화면에서 사람의 얼굴과 위치를 스스로 인식하고 영상을 분석해서 적합한 영역에 문구를 집어넣는 기술이었다. 제작자의 고민을 덜어주고 효과를 극대화할 수 있는 유용한 방법이라고 생각했다.
◇ NHK의 AI&딥러닝 연구 사례
Paper Session에서는 NHK의 AI와 딥러닝 연구에 대해 들을 수 있었다. 실제로 리우 올림픽에서 테스트한 기술로, AI를 이용한 Automated Commentary(자동 해설 방송)와 시각이 불편한 사람들을 위한 추가 정보 제공 방송이었다.
ODF(Olympic Data Feed)데이터를 OBS를 통해 제공 받고, 자체적으로 개발한 TTS(Text to Speech) 툴을 이용해 자동으로 해설 음성이 생성되는 방식이다. 위 그림을 보면 ODF를 통해 받은 소스코드를 분석해서, ‘Neymar 선수가 프리킥으로 직접 골을 넣었다. 브라질의 선취 득점’이라는 해설을 음성으로 출력해내는 방식이다.
여기에 감정을 표현하는 Emotion Code까지 섞어서 실제 사람이 하는 해설과 비슷한 효과를 낼 수 있었다. 이 기술을 통해 NHK는 별도의 해설이 없는 경기도 자동 해설을 시청자에게 제공할 수 있게 됐다.
NHK는 2018년 평창올림픽에서 LIVE 시연에 들어가고, 2020년 도쿄올림픽에서는 모든 경기에 제공하려는 목표로 개발 중이라고 했다. AI&머신러닝과 방송의 결합을 통해 시청자에게 더 많은 정보를 제공하고, 특히 시각이 불편한 사람들에게 원하는 해설을 들려줄 수 있게 됐다. 또한, 비용과 인력을 아낄 수 있다는 측면에서도 좋은 연구인 것 같았다.
◇ 5G와 Media
4G 시대에 모바일 기기를 통한 1인 미디어 시대는 이미 도래했다. 자신의 SNS에 스마트폰을 이용해 방송을 제작하고, 대화창을 통해 시청자와 소통하고 있다. 중계차가 직접 현장에 나가서 광, M/W 혹은 SNG로 방송 신호를 전달했다면 지금은 단순히 카메라와 MNG 장비를 이용해 모바일로 방송을 할 수 있는 환경이 됐다.
5G 시대에선 더 많은 Live Stream 서비스가 생길 것이라고 발표자들은 예측했다. URLLC(Ultra-reliable, Low-Latency Communication)를 사용해 Data Rate를 증가시키고 그로 인해 VR, AR, UHD 같은 대용량 콘텐츠를 제공하게 될 것이며, eMBB(Enhanced Mobile Broadband)를 이용해 지연이 적고 끊김이 없는 멀티미디어, 콘텐츠, 서비스의 경험을 하게 될 것이다. 콘텐츠를 제공 받는 최대 속도는 10Gbps에 이를 것이며 주파수 효율성은 4G 대비 3배나 증가할 것이고, 면적당 트래픽 용량은 4G 대비 100배 증가할 것으로 보인다.
스마트폰, 태블릿 같은 다수의 기기가 네트워크에 접속하기 위해서는 접속 밀도가 매우 중요한데, 이것은 mMTC(Massive Machine Type Communications)를 통해서 가능하게 될 것이다.
즉, 소비자는 더욱 빠른 전송 속도와 적은 지연 속도를 통해 대용량의 콘텐츠를 빠른 속도로 움직이는 환경에서 지금보다 더 안정적으로 이용하게 된다. 각종 이벤트, 뉴스, 스포츠 현장에서 중계되는 여러 대의 HD 카메라 화면을 골라서 볼 수 있도록 제공해 줄 수도 있고, 달리는 열차 안에서도 UHD 콘텐츠를 볼 수 있게 될 것이다.
◇ 해외 방송사 기술 전시 동향
○ BBC(www.bbc.co.uk/rd)
1. VR & AR
유저를 사로잡는 경험을 주는 VR과 AR을 BBC는 최근 2년간 지속해서 개발해왔다. BBC는 자체적으로 interactive 360 오디오, 비디오 애플리케이션 개발을 완료했다. 이것을 통해 제작자는 특정 공간에서 이전의 선형 방식 오디오가 아닌 입체감을 주는 방식으로 이야기를 전달할 수 있게 됐다.
2. Object Based Audio
‘Orpheus, Object-Based Audio Experience’는 프로젝트명으로 객체 기반 오디오 방송 시스템을 뜻한다. BBC의 IP 스튜디오 플랫폼을 이용해서 콘텐츠를 제작했다. 전시회에서 체험해 볼 수 있었던 내용은 ‘The Mermaid’s Tears’란 인터렉티브 오디오 드라마였다. 단순 라디오 단막극 형식에서 벗어나 등장인물 개개인의 시점에서 오디오를 들을 수 있었다. 실제로 들어보니 기존의 라디오 드라마보다 실제로 내가 대화 현장에 있는 것 같은 느낌을 받을 수 있었다. BBC에선 이런 객체 기반 오디오 방송을 웹사이트를 통해 제공할 것이라고 말했다.
3. IP Studio
차세대 방송을 위한 핵심 기반으로 BBC에선 IP Studio를 만들었다. IP를 통해 모든 방송을 시작부터 끝까지 IP 네트워크를 통해 만드는 개념이다. 이번 IBC에선 필요에 따라서 유연하게 확장 가능한 생산 시스템을 시연했다. 이것을 통해 다양한 유저가 그들이 원하는 다양한 카메라 커팅을 인터넷과 프로그램만 있으면 빠르게 제작할 수 있게 됐다.
4. Speech to Text
영상에 있는 오디오, 데이터를 자동으로 텍스트로 바꿔서 아카이브에 저장하는 기술이다. 이를 통해 유저는 쉽게 많은 영상 자료를 아카이브에서 찾고, 더욱 쉽게 기사에 필요한 영상과 내용을 찾을 수 있게 됐다.
○ NHK(www.nhk.or.jp/strl/index-e.html)
1. 8K Tech
2020년 8K 방송을 위해 NHK는 많은 노력을 하고 있었다. 작년에는 4K/8K 위성방송 실험을 했고, 2018년 방송을 위해 올해는 더욱 많은 프로그램 제작에 장비를 투입하고 있다. 8K 방송을 위한 전송 케이블, 카메라, 저지연 Encoder, Decoder를 제작해서 시연하고 있었고, ‘8K 거실’이라는 전시도 하고 있었다.
8K 거실에선 65인치 4K 디스플레이 4개를 붙여 130인치의 화면과 22.2ch 실감 오디오로 8K란 어떤 것인지 관람객에게 확실히 보여줬다. IBC가 열리기 전 암스테르담에 와서 카메라, CCU, 8K 녹화기를 차에 싣고 다니면서 찍은 8K 영상은 4K와는 또 다른, 사진 같은 영상이라는 느낌을 받았다.
2. Live sports Graphics system
생방송 스포츠 경기에서 공을 추적하는 시스템이다. 현재 시스템은 대부분 분석 시간이 걸려서 리플레이 화면에 정보가 표시되는 반면, 실시간으로 공을 추적할 수 있다고 한다. 아직은 야구 같은 빠른 공에는 적용이 안 되지만 배구 경기에 직접 적용한 시연을 볼 수 있었다.
3. Hybridcast Connect X
NHK에서는 TV뿐만 아니라 유저의 다양한 디바이스와 연결할 수 있는 기술을 선보였다. TV와 스마트폰, IoT 장비를 통해서 TV 방송과 연계된 다양한 서비스를 제공할 수 있었다. 시청자가 축구 중계방송을 보다가 골을 넣으면 스마트폰 기기의 앱을 통해 그 선수와 골에 대한 다양한 정보가 자동으로 뜨고, 옆에 있던 IoT 기능이 있는 로봇이 세레모니를 자동으로 하는 모습을 볼 수 있었다.
이런 방식을 통해서 집안의 다양한 가전제품과 자동차 등 실제 삶에서 TV 방송과의 관계를 더욱 넓히려는 노력을 하고 있었다. 담당자는 방송사뿐만 아니라 가전사와 정부 기관의 협조를 통해서 이런 개발이 가능했다고 말했다.
이번 참관은 방송 산업을 넘어 전반적인 미디어 산업의 미래에 대해서 고민하고 직접 느껴볼 수 있는 시간이었다. 단방향의 TV와 Radio 방송 시대는 끝나가고 최첨단의 IT와 결합된 미디어 콘텐츠와 플랫폼이 이미 등장하고 있었다. 이런 모든 원인의 촉매는 방송·통신 기술의 발전 때문일 것이다.
방송사, 특히 지상파가 주파수라는 플랫폼만을 이용해서 시청자를 사로잡기는 이제는 어려울 것이다. UHD 시장에서 기술 및 콘텐츠 선점은 물론 새로운 플랫폼에 대한 도전으로 시청자를 사로잡아야 할 것이다. 또한 시청자가 능동적으로 쉽게 접근하고 흥미를 느낄 수 있는 콘텐츠를 만들어야 하고, UHD 시장을 선점하며, 360° VR, AR 같은 최신 기술을 프로그램에 적용할 수 있도록 Device에 대한 연구도 계속돼야 할 것이다.
미디어 시장의 변화, 다양한 IT와의 접목, 그리고 변화하는 시청자의 소비 행태를 놓친다면 국내 방송사의 경쟁력은 점점 더 낮아질 것이다. 빅데이터와 딥러닝, AI, 5G 통신시스템, IP, 클라우드 같은 새로운 시대의 키워드를 놓치지 않고 장비 제작사, 가전사와의 업무 협조를 통해서 방송사의 먹거리를 찾는 시도와 노력이 꼭 필요하다고 생각한다.
