<본 글은 『월간 방송과기술』 8월호에 실린 원고입니다.>
[방송기술저널=서영우 KBS 미디어기술연구소 공학박사]
전시 주제 1. 사람과 사람을 잇는 몰입 미디어(Immersive Media)
AR과 VR로 대표되는 실감미디어 즉 몰입형 미디어는 사람을 이어주는 특별한 기술이다. 거실에서 운동을 하려고 준비를 한다. AR 글래스를 쓰고 TV를 보면 선생님이 거실에 나타나 옆에서 같이 운동을 한다. VR을 즐기기 위한 HMD를 쓰고 전시회장으로 입장을 한다. 다른 사림들과 같이 가상공간에서 만나고 전시 중인 문화유산을 관람한다. 전시물을 이러저리 안쪽까지 돌려보며 옆 사람과 같이 감상 소감을 나눈다. 이처럼 AR과 VR 기술을 통해서 다른 곳에 있는 사람을 내 시야 속에서 3D로 구현해 낼 수 있다. [그림 3]에서는 공간을 공유하는 VR 시스템의 구성도를 보여준다.
VR 전시회 관람을 위해 NHK는 8K 위성 채널에서 방송되었던 ‘문화유산과의 신선한 만남’ 프로그램을 시청자가 대리 체험할 수 있는 VR 콘텐츠로 특별히 제작하였다. 시청자들은 각기 떨어진 곳에서 친구나 가족과 공동으로 전시실을 입장하여 보고 싶은 항목에 손전등을 비추거나 함께 점토로 만들어진 유물의 내부까지 들어가서 관람하는 등 특별한 경험을 공유할 수 있다.
VR을 통해 수족관을 감상하거나 다양한 곳을 여행하며 체험할 수도 있다. 자유롭고 몰입도 높은 미디어를 만들기 위해 3D 개체를 결합하여 캡처된 개체 주위에 360° 전 방향 비디오와 함께 3차원 모델 등으로 모든 위치 또는 방향에서 비디오를 볼 수 있는 [그림 4]와 같은 360 공간 비디오 시스템을 시연하였다. 개발된 시스템에서는 3D 공간에서 3D 객체의 위치, 방향, 크기 및 장면을 둘러싸는 360도 비디오가 장면 설명이라는 디스크립터 언어를 사용하여 지정되고, 3D 공간에서 보는 사람의 시점 위치와 시선 방향과 일치하는 영상은 렌더러라는 소프트웨어에 의해 생성 및 표시된다. 이는 3D 객체의 시청 위치와 방향을 공간 정보와 일치시키는 영상을 생성하는 메커니즘이기 때문에 시청자가 원하는 위치에서 원하는 방향에서 원하는 기기로 영상을 시청할 수 있다.
또한, 시청자의 시점 위치나 시선 방향에 관계없이 고정된 위치에 오버레이로 표시되는 2D 영상과 결합할 수 있다. 이와 같이 가상현실을 통한 체험을 극대화하기 위해 직접 돌아다니거나 물체를 이리저리 돌려서 볼 수 있는 다양한 객체기반 가상현실 기술과 메타버스의 개념으로 가상의 세계에서 사람들과 교류할 수 있는 기술들을 소개하였다.
AR과 VR은 TV를 감상하는 새로운 경험을 제공한다. TV에서 어떤 밴드가 연주를 한다. 스마트 단말기를 TV를 비추면 화면에 안 보이는 부분까지 펼쳐져서 보인다. 드럼을 치는 사람에 다가가면 드럼소리가 커지고 가수를 비추면 가수의 목소리가 더 뚜렷이 들린다. 하나의 화면이지만 시청자들 서로 각기 다른 음악 감상을 하고 있다.
[그림 5]에서는 기존 TV 시청의 경계를 뛰어넘는 새로운 경험을 제공하기 위해 3D 모델과 공간 배치 정보 등 3차원 정보를 전송하는 기술을 시연하고 있다. 이를 통해 시청자가 연주 현장에서 실제로 돌아다니며 감상하는 듯한 몰입형 경험을 제공한다.
[그림 6]은 시청자의 시점과 연동되는 객체기반의 자유시점을 위한 오디오 생성 기술이다. 객체기반 오디오에서는 오디오 신호와 함께 위치 좌표와 같은 정보를 지정하는 오디오 메타데이터가 저장되고 전송된다. 이것은 사람의 목소리와 악기의 소리와
같은 소스에서 개별적으로 다양한 오디오 개체를 만드는 데 사용할 수 있다. 오디오 개체는 연주자(비디오 개체)의 위치에 배치되고, 사람들이 소리를 듣는 방식을 3차원으로 재현하는 바이노럴(bi-naural) 기술을 사용하여 태블릿의 위치에 따라 소리의 볼륨과 방향을 변경하는 신호 처리가 수행된다.
플렉시블 디스플레이를 이용하면 물리적으로 보다 더 몰입된 시청환경을 구현할 수 있다. OLED 커브드(curved) 디스플레이로 구성된 와이드 VR 기반 시스템은 영상과 음성에 맞게 진동하는 햅틱(haptic) 의자 장치와 결합하여 4D 효과를 통한 현실감을 한층 더 높였다. 시연 시스템에서는 3개의 30인치 4K 플렉시블 OLED 디스플레이를 180도 시야각의 연속적인 곡선 형태로 설치하였는데, 이것은 0.173mm의 픽셀 피치에서 최종 수평 해상도 6K와 4K의 수직 해상도를 제공하여 약 37cm의 시야 거리에서 감상하는데 최적화되었다.
<「NHK 기술연구소의 미래비전 2030-2040 ③」으로 이어집니다.>
