[방송기술저널=호요성 방송미디어공학회장] 요즘 많은 사람이 올림픽 응원 열기로 무더운 여름밤을 뜬눈으로 지새운다. 나는 이번 리우 올림픽 개막식을 보면서 2차원 화면에서 3차원 장면을 보는 듯한 착시 현상을 또다시 경험했다. 몇 년 전 KOBA 전시회를 둘러보다가 신선한 충격을 받은 적이 있다. 전시장 안쪽에 설치된 커다란 대형 스크린에 비친 스님이 옷감에 물감을 들이는 장면이 마치 현장에서 실제로 작업하는 것처럼 3차원으로 생생하게 보였다. 어떤 사정인지 알아보니, 그날 처음으로 시도한 관악산 전송탑에서 직접 수신한 4K 초고해상도(UHD) TV의 실시간 데모라고 했다. 초고해상도의 대형 스크린에 비친 2차원 화면에서 3차원 감각을 느낄 수 있다는 것이 참으로 신기롭기만 했다. 2차원 화면의 해상도가 높아지면 3차원 TV는 더 이상 필요 없는 것일까 하는 의구심마저 들었다.
6년 전 제임스 카메론 감독이 만든 3차원 영화 <아바타>가 출시돼 흥행에 성공하던 무렵, 사람들은 3차원 영상에 무척 관심이 높았다. 몇 년 뒤 우리나라에서도 3차원 영화를 제작하려는 노력이 많았지만, 3차원 영화를 만드는데 엄청난 시간과 비용이 들어가자 원래 계획을 포기하고 2차원 영화를 제작해 3차원 영화로 변환하는 경우도 있었다.
그 당시 3차원 TV가 먼저냐, 아니면 UHD TV가 먼저 오느냐에 대한 논란이 많았는데, 내 기억으론 3차원 TV가 UHD TV보다 먼저 서비스될 거라는 의견이 약간 우세했던 것 같다. 그런데 현재 진행되는 상황을 보면 그때 예상은 180도 빗나간 것이었다. 최근 지상파 UHD 표준이 북미식 ATSC 3.0으로 확정돼 평창 동계올림픽 게임을 1년 앞둔 2017년 2월부터 본방송을 시작한다고 하는데, 3차원 TV 방송은 아직도 요원하기만 하다. 3차원 TV에 대한 사람들의 관심과 바람은 크지만, 그런 요구를 충족시켜 주기엔 3차원 영상 콘텐츠도 부족하고 많은 기술적 어려움이 남아 있기 때문이다.
한때는 우리나라에서도 2차원 영화를 3차원 영화로 변환하는 연구와 작업이 성행했었다. 한 장 또는 연속된 여러 장의 2차원 단안 영상에서 3차원 깊이 정보를 추출해 입체적인 양안 영상을 만들어 내는 마술 같은 작업은 우리 눈의 시각 특성을 이용한다. 우리가 평상시 사용하고 있는 TV는 기본적으로 2차원 영상을 사용한다. 3차원 장면이 카메라 안에 있는 2차원 평면 센서에 투영돼 맺힌 2차원 영상을 순차적으로 주사해 얻은 값을 처리해 전송하고, 수신단에서는 이를 받아 복원한 2차원 영상을 평면 디스플레이 장치를 이용해 재현한다. 이때 우리 눈에 익숙한 장면의 깊이감에 대한 다양한 종류의 깊이 단서(Depth Cue)로 인해 입체적으로 느끼지만, 사실 우리는 2차원 평면에 맺힌 영상을 바라볼 뿐이다. TV를 통해 중계되는 퍼레이드 장면이나 운동 경기에서 이런 현상을 자주 느끼는 것도 사실 이러한 원리에 따른 것이다.
2차원 영상에서 3차원 깊이 정보를 예측해 3차원 영상으로 변환하는 작업은 당연히 유용한 영역이 있다. 예전에 만들어진 2차원 고전 영화를 입체적으로 보기 위해 그때 배우들을 등장시켜 다시 촬영하기는 거의 불가능하다. 그 대신 2차원 영화에서 깊이 단서를 이용해 3차원 깊이 정보를 추출하고, 이를 이용해 그럴듯한 3차원 양안 영상을 만들어 감상하면 된다. 하지만 우리 시각 특성에 따른 깊이 단서에만 의존해 얻은 깊이 정보는 아직도 약간 불완전해 2차원 영상에서 변환된 3차원 영상을 보고 있으면 조금 어색한 부분을 발견할 수 있다. 이러한 변환 기술이 발전해 제아무리 눈속임을 잘한다 해도 양안식 3차원 카메라를 이용해 실제로 촬영한 3차원 장면보다 더 자연스러울 수는 없다. 물론 추출된 깊이 정보를 이용해 다양한 영상처리를 수행하면 훨씬 더 흥미로운 영상물을 만들어 낼 수 있을 것이다.
최근 다시점 영상에 대한 관심도 높아져 다시점 3차원 디스플레이 장치들이 팔리고 있지만, 이에 필요한 다시점 영상 콘텐츠는 턱없이 부족하다. 원리적으로는 양안식 영상에서 깊이 정보를 추출해 중간 시점의 영상을 만들어 내면 되지만, 이러한 작업도 기술적인 어려움이 많이 남아 있어 다시점 카메라 장치를 이용해 직접 촬영한 영상에 미치지 못한다.
현재 우리나라에서는 2018년에 개최되는 평창 동계올림픽 게임을 초다시점 영상을 이용해 중계하기 위해 많은 노력을 쏟아붓고 있으며, 일본에서도 2020년에 개최되는 동경 하계올림픽 게임을 자유시점 TV로 보여 주려고 애쓰고 있다. 조만간 아시아에서 선보일 3차원 영상 서비스에 자못 큰 기대가 쏠린다.
