<본 글은 『월간 방송과기술』 8월호에 실린 원고입니다.>
[방송기술저널=서영우 KBS 미디어기술연구소 공학박사] 전시 주제 3. 최첨단 미래 과학기술
사과를 보자. 빛이 없어지면 사과는 보이지 않는다. 다시 불을 켜면 빨갛게 사과가 보인다. 빛이 반사되어 우리 눈에 보이게 되는 것이다. 어떻게 하면 입체감을 느끼게 할 수 있을까? 사과의 끝과 가운데에서 오는 광파의 위상을 측정하면 그 차이가 보인다. 이것이 3D 깊이 정보를 획득하는 연산처리 사진(computational photography) 기술을 통한 사물의 재현이다.
물체와 카메라 사이에 프리즘 등 특수 광학 장치를 사용하여 카메라로 녹화하는데, 이미지를 처음 캡처할 때 이미지에 대한 상대적으로 기본적인 정보를 얻고, 표시할 최종 이미지는 컴퓨터에 의해 수치적으로 계산된다. 이 기술을 컴퓨터연산 사진이라고 정의한다. 이를 구현하기 위해 [그림 12]와 같이 3D 정보 캡처 시스템뿐 아니라 초고해상도 이미징, 카메라 흔들림 및 흐림 제거, 렌즈 없는 카메라 등 다양한 고성능 이미지 처리 기술이 활용되었다.
특수 안경이 필요 없는 3D 디스플레이는 깊이가 큰 장면을 표시하는 데 문제가 있다. 다양한 깊이의 장면에서도 자연스러운 모습을 유지하면서 3D를 표현할 수 있는 깊이 압축 표현 방법을 전시하였다. 이 기술의 원리는 인간의 감각과 지각의 특성을 활용하여 카메라를 활용하여 시청자의 움직임을 추적한 후 시청자의 위치에서 물체까지의 거리가 멀어짐에 따라 압축 정도가 증가하도록 하는 것으로, [그림 13]과 같이, 멀리 있는 물체를 더 가깝게 압축하여 표시함으로써 제한된 깊이 범위를 사용하여도 큰 깊이의 장면을 표시하는 것이다.
또한, 영상으로부터 음성을 인식하여 인물 및 화자를 인식하여 자막 대본을 효율적으로 생성하는 시스템을 시연하였다. 특히 음성 및 이미지 인식 통합을 통해 화자 정보를 추가하는 기능을 개발하여 프로그램과 웹 사이트 제작을 좀 더 용이하게 도울 수 있다.
음성인식 과정은 [그림 14]에서와 같이, 먼저 사람이 말한 단어들과 뉴스 장면에 기록된 사람의 이름을 텍스트로 변환하고, 인물 데이터베이스를 통해 얼굴별 특성값을 계산한 후 개별 스피치 신호로 구분된 음성에 인식된 얼굴 정보를 넣어서 인물별 자막 대본을 자동으로 생성하게 된다. NHK에 구축된 소리 및 인물 시스템을 AI 기술 적용에 활용하는데 뉴스 및 언론보도뿐 아니라 기자 회견과 같이 이전에는 인식하기 어려웠던 오디오에도 적용하고 있다.
전시 주제 4. 지상파 방송의 미래
NHK는 단일 채널 대역폭(6MHz)에서 모바일 수신을 위한 고화질 TV(HDTV) 방송과 동시에 고정 수신을 위한 UHDTV 지상파 방송을 제공하기 위해 초고화질 영상/음성 코딩, 멀티플렉싱, 채널 코딩 기술, 방송과 광대역 전송을 결합한 첨단 서비스를 개발하고 있다. 도쿄, 오사카, 나고야 및 후쿠오카의 실험 테스트 스테이션에서 [그림 16]과 같이 다양한 수신 환경에서 고정 및 모바일 수신 특성에 대한 평가가 진행 중이며, 송출 파라미터는 [그림 15]와 같다. 방송과 광대역 콘텐츠를 결합한 융합 서비스를 위해 효율적인 멀티플렉싱 방법과 콘텐츠 배포 방법 등이 주요 연구 주제이며, IP 멀티캐스팅을 통한 광대역 콘텐츠 전달을 포함한 방송 검증 실험도 진행 중이다. 다양한 플랫폼에서의 고품질 고기능 영상/음성 서비스를 위해 VVC(Versatile Video Coding) 및 MPEG-H 3D Audio Baseline(BL) 프로파일 등을 지원하는 인코더 및 디코더 개발도 진행하고 있다.
지상파 방송 중심의 방송 통신 융합서비스를 위한 홈게이트웨이 기술 또한 [그림 17]과 같이 시연되었다. 지상파 방송과 광대역 전송 경로 사이에서 콘텐츠 데이터를 원활하게 전환할 수 있도록 방송 프로그램은 제작단계에서부터 확장되며, 각 콘텐츠는 서로 동기화되어 TV뿐 아니라 VR/AR, 스마트 단말 등 다양한 기기 등을 활용하여 새로운 시청 경험을 제공할 수 있다. 예를 들어 스포츠 중계나 라이브 이벤트의 정규방송이 끊어지면 자연스럽게 통신망을 통해 연결되어 계속해서 콘텐츠를 감상하는 핸드오프 서비스나 현재 시청하는 화면에 대해 360도 부가 영상을 통해 다양한 시점에서 감상할 수 있도록 하는 서비스, 스마트 단말을 통해 내가 보고 듣고 싶은 연주자를 볼 수 있도록 하는 객체기반 영상 및 오디오 서비스, 그리고 가상 콘텐츠의 제공을 통해 현재 방송 화면과 연계된 새로운 정보를 통해 화면이 확장되도록 하는 AR 서비스 등이 이번 NHK 공개 기연을 통해 소개된 다양한 몰입형 기술들이 지상파 융합서비스의 주요 응용 분야로 함께 시연되었다.
맺음말
코로나19로 인해 온라인으로 개최된 NHK 기연 공개 2021은 온라인 전시의 장점을 충분히 살려서 다양한 영상자료와 온라인 데모 및 체험 프로그램을 통해 상세한 주제발표와 개발자의 개발내용에 대한 설명이 이루어졌다. 특히 NHK 연구소와 BBC R&D의 키노트를 통해 방송 미디어 기술 분야의 동향 및 전망에 대한 인사이트를 얻을 수 있었다.
그동안 NHK는 기연 공개와 NAB 등 전시를 통해서 고화질 고효율 비디오코딩, 8K 전송, 중계차 등 올림픽을 대비한 방송 제작 및 송출 기술을 강조했으나, 올해 기연 공개에서는 시선을 더 멀리 10년 앞으로 두고, 미래미디어에 대한 비전을 보여주기 위해 시청자의 새로운 미디어 경험을 설명하기 위한 다양한 몰입형 융합 기술 중심으로 전시가 진행되었다.
특별강연과 함께 전체적으로 둘러본 소감은 NHK는 미래미디어를 통해 다시 한번 TV를 중심으로 ‘가족’의 회복 추구한다는 것이다. 1인이나 2인 가구로 작아지는 가족 구조이지만 AR이나 VR 기술로 공간의 제약을 극복하고 가상의 세계에 다시 모여서 공연도 보고 전시회도 가고 이야기도 나누는 그런 ‘새로운 가족’을 그리고 있었다.
AR, VR, IOT, 그리고 로봇 – 공간의 제약을 극복하고 미디어를 가족과 친구와 그리고 로봇과 함께 이야기하며 미디어를 즐기는 기술 – 앞으로 어떤 새로운 기술과 서비스들이 우리를 미디어를 통해 서로 이어줄지 기대된다.
* 참고문헌 : NHK 기연 공개 2021 온라인 전시 www.nhk.or.jp/strl/english/open2021
* 본 원고의 모든 그림은 NHK 기연 공개 2021에 소개된 그림을 편집한 것입니다.
