| 디지털 홀로그램 서비스
디지털 홀로그램 서비스에 대한 개념은 그림 1과 같다. 3차원 영상 정보를 추출한 후에 ‘컴퓨터 생성 홀로그램(computer-generated hologram, CGH)’ 기술을 통해서 홀로그램을 획득하고, 여기에 신호처리 기술을 거친다. 처리된 홀로그램은 SLM(Spatial Light Modulator)을 통해서 공간에 3D 객체로 재생된다. 또한 시청자의 환경과 상태를 고려하여 시청자에게 능동적 혹은 수동적으로 홀로그램을 변형해 주는 기술이 포함될 수 있고, 홀로그램의 입체감과 현장감을 증강시키고 홀로그램의 품질을 평가할 수 있는 지표가 홀로그램 컨텐츠 생성 기술에 반영될 수 있다. 이때 디지털 홀로그램의 비디오 서비스를 위한 신호처리 기술들은 그림 2와 같다.
그림 1. 디지털 홀로그램 기반의 비디오 서비스의 개념
디지털 신호처리 관점에서 살펴보면 다음과 같다. 먼저 정보 획득부는 홀로그램을 획득하는 단계로 기존의 광학적인 촬영 기술을 비롯하여 최근에는 다시점 및 깊이 카메라를 이용하여 깊이 정보를 획득하는 기술까지 포함된다. 부호화부는 디지털 홀로그램을 생성, 압축, 보호/보안, 전송하기 위한 신호처리 기술이 포함된다. 마찬가지로 복호화부는 부호화부에 대응되는 역과정이 포함되고, 디스플레이 부에서는 다양한 형태의 단말에서 홀로그래픽 정보를 재생하기 위한 기술이 포함된다.
그림 2. 디지털 홀로그램 서비스를 위한 신호처리 기술
| 디지털 홀로그램 신호처리 기술
디지털 홀로그램 서비스에 대한 신호처리 기술은 그림 3과 같다. 디지털 홀로그램은 지난 연재에서 확인한 것과 같이 일반적으로 생각하는 2D 혹은 3D 영상과 전혀 다른 정보이다. 따라서 디지털 홀로그램의 신호처리를 위해서는 2D 및 3D 영상에서 사용했던 것과 다른 홀로그램만의 신호처리 기술들이 필요하다. 홀로그램의 신호처리 기술에는 다음과 같은 기술들이 포함되고, 광학적인 처리를 위한 기술들은 아래의 기술에서 생략하였다.
● 홀로그램 생성 기술
■ 컴퓨터 생성 홀로그램 기술
■ 고속 처리를 위한 GPU 및 칩셋 기술
● 전처리 기술
■ 다시점 및 스테레오 카레라 시스템 기술
■ 스테레오 정합 및 중간 시점 생성 기술
■ 깊이 지도 생성 기술
■ 광 홀로그램의 잡음 제거 기술
■ 깊이 정보 제어 기술
● 홀로그램 코딩
■ 광 홀로그램 코딩 기술
■ 깊이 정보 코딩 기술
● 홀로그램 보안
■ 홀로그램 암호화 기술
■ 홀로그램 워터마킹 기술
● 홀로그램 전송
■ 스케일러블 홀로그램 코딩 기술
그림 3. 디지털 홀로그램 서비스와 신호처리 기술
실사 형태의 디지털 홀로그램을 얻는 방법은 다양하다. 첫 번째는 레이저를 이용하여 광학적으로 촬영하는 방법이다. 이 방법은 진정한 홀로그램을 얻을 수 있는 방법이기는 하지만 인간 및 동물을 포함한 다양한 자연 영상을 획득하는 데에는 현재로써는 거의 불가능하다. 광학적으로 획득된 홀로그램에는 광학적인 잡음이 들어갈 수가 있고 이를 제거하기 위한 신호처리 기법을 적용할 수 있다. 두 번째는 다시점 혹은 스테레오 카메라를 이용하여 영상을 촬영한 후에 스테레오 정합 등의 기술을 이용하여 깊이 정보를 얻는 방법이다. 획득된 깊이 정보는 CGH 과정을 거쳐서 디지털 홀로그램이 된다. 그러나 스테레오 정합 기술의 불완전성으로 인해서 좋은 깊이 정보를 얻지 못하는 단점이 있다. 현재 많은 스테레오 정합 기술이 나와 있지만 잘 다듬어진 테스트 비디오가 아닌 직접 촬영한 스테레오 영상에 대해서 기술을 적용해 보면 좋은 결과를 얻지 못하는 것이 사실이다. 또한 다시점 카메라의 경우에 카메라 보정을 위한 많은 노력과 기술이 따라야 한다. 세 번째는 깊이 카메라를 이용하여 직접적으로 깊이 정보를 획득한 후에 CGH를 통해서 홀로그램을 생성하는 방법이다. 아직까지는 깊이 카메라가 고가이고, 또한 깊이 카메라의 해상도가 낮기 때문에 좋은 홀로그램을 생성하는데 어려움이 있지만 현재 깊이 카메라에 대한 기술이 발달하고 있고, 다양한 깊이 카메라가 출시되고 있어서 이를 활용한 홀로그램 생성 기술은 더욱 발전할 것으로 보인다. 앞의 두 가지 방식으로 획득된 깊이 정보는 재생 환경을 고려하여 깊이 정보를 보정하거나 제어함으로써 좋은 서비스를 제공할 수 있다. 따라서 깊이 정보 제어 기술은 다양한 단말환경을 고려할 때 필수적인 기술이다.
홀로그램 서비스 시스템의 구성에 따라서 CGH를 인코딩부에 포함시킬 수도 있고, 디코딩 부에 포함시킬 수도 있다. 이 두 가지 시스템으로 나누어지는 가장 큰 요인은 CGH의 연산량이 방대하다는 것이다. 예를 들어 모바일 기기나 소형 가전 형태의 단말기라면 실시간으로 CGH를 수행하고 홀로그램 비디오 서비스를 재생한다는 것은 거의 불가능하다. 따라서 이 경우에는 송신단인 인코딩부에서 CGH를 수행하고, 이를 압축한 후에 전송해야 한다. 만일 수신단에 해당하는 디코딩부의 연산 능력이 좋다면 압축 효율을 고려하여 깊이 정보 자체를 압축하여 전송한 후에 디코딩부에서 CGH를 수행하는 것이 유리하다. 물론 홀로그램 자체가 광학적으로 획득된 것이라면 이러한 방법은 사용할 수 없고, 무조건 홀로그램을 압축한 것이 전송될 것이다.
디지털 홀로그램은 가장 비싼 콘텐츠에 해당할 것이고, 고비용의 콘텐츠에 대한 보안 혹은 보호는 필수적일 것이다. 따라서 콘텐츠 기반의 암호화 및 워터마킹 기술이 요구된다. 물론 다른 신호처리 기술들과 마찬가지로 홀로그램 전용의 암호화 및 워터마킹 기술이 필요하다. 콘텐츠 기반의 부분 암호화 기술을 적용할 경우에 주파수 변환 도구 등을 이용하여 중요 정보를 압축하고 탐색해야 하는데 홀로그램은 2D 정보가 갖는 시각적인 특성과 전혀 다른 특성을 갖기 때문에 새로운 분석 도구와 암호화 기법이 적용되어야 한다. 워터마킹도 이와 마찬가지이다. 강인성 워터마킹인 경우에는 2D 및 3D 영상에서 눈에 잘 띄지 않으면서 공격에 강인한 중간 주파수 대역을 찾아서 소유자의 정보를 삽입하고, 비강인성 워터마킹의 경우에는 공격에 취약하면서 손상을 확대할 수 있는 주파수적인 위치를 찾아서 무결성을 검증할 정보를 삽입한다. 그러나 홀로그램은 전혀 다른 형태의 데이터이기 때문에 이러한 기술들을 그대로 적용할 수는 없고, 개념은 유사하지만 기존의 신호처리 기법들에서 사용된 워터마킹 기술을 변형 및 재창조하여 적용해야 한다. 또한 홀로그램의 광학적인 특성과 광학적인 시스템을 신호처리적인 관점에서 모델링함으로써 새로운 도구를 개발할 수도 있다.
| 향후연구 및 전망
디지털 홀로그램의 디스플레이가 아닌 신호처리에 관련한 연구는 지금까지 국내에서 본 기고자가 포함된 연구팀을 제외하고는 거의 이루어지지 않고 있었다. 3D의 경우와 마찬가지로 디지털 홀로그램의 획득과 재생을 위한 부품들이 급격히 발달한다면 어느 날 갑자기 홀로그램의 세상이 올지도 모른다. 이러한 시기를 대비해서라도 획득과 재생 사이의 중간을 모두 차지하고 있는 디지털 홀로그램의 신호처리 기술은 매우 중요하다고 할 수 있다. 본 기고자를 비롯한 연구팀도 그러한 예측과 전망을 바탕으로 꾸준하게 디지털 신호처리 관련 연구 프로젝트를 진행해 오고 있는 것이다. 그러나 최근 들어 사회적으로 홀로그램에 대한 시각이 달라지면서 디지털 홀로그램의 신호처리가 재조명되고 있다.
본 고에서는 주로 SLM을 이용한 단색 및 소형 홀로그램 기술을 중심으로 신호처리 기술들에 대해서 설명을 하였다. 이러한 SLM을 이용한 단색 및 소형 홀로그램 기술은 앞으로 펼쳐질 홀로그램 기술의 토대에 해당하고 홀로그램 디스플레이를 위한 원천 기술들의 개발이 여기서 이루어진다고 볼 수 있다. 이를 바탕으로 하여 홀로그램의 시야각과 조망영역의 확대 기술, 동영상 홀로그램 기술, SLM의 확장을 통한 대형 홀로그램 기술, 그리고 컬러 홀로그램 기술 등이 연구되어야 한다. 물론 현재에도 일부 연구는 되고 있다.
홀로그램의 시야각과 조망영역의 확대 기술은 다수 시청자를 대상으로 상용 서비스가 가능한 홀로그램 디스플레이 기술을 개발하는 것으로써 시야각과 조망영역의 확대를 위한 광학시스템 및 장치기술, 전시차 기술, 체적 및 실린더리컬 홀로그램 기술 들의 연구가 진행되어야 한다. 동영상 홀로그램 기술은 동영상 홀로그램의 대용량 데이터 처리를 위한 것으로 이를 위해서는 고속 신호처리 기술, 동영상 처리를 위한 고속 GPU개발, 그리고 고속 데이터 처리를 위한 SoC 칩셋 개발 등이 이루어 져야 한다. 또한 SLM의 확장을 통한 대형 홀로그램 기술은 SLM의 배열 및 확장을 이용하여 대형의 홀로그램 디스플레이 시스템 및 장치 개발하는 것으로써 대형의 디지털 홀로그램 획득 및 생성기술, 홀로그램의 고속화 기술, 확장된 홀로그램의 디스플레이 기술, 홀로그램 신호처리를 위한 GPU개발 및 고성능 SoC 개발 등이 필요하다. 마지막으로 컬러 홀로그램 기술은 RGB 레이저를 이용한 컬러 홀로그램 디스플레이를 위한 것으로 컬러 홀로그램 획득, 생성 기술, 컬러 홀로그램 신호처리 기술, 그리고 컬러 홀로그램 디스플레이 기술 및 장치 등이 개발되어야 한다.
아직까지 홀로그램 관련 연구를 위한 구체화되고 현실적인 로드맵이 없다는 것은 안타까운 일이다. 그러나 최근 한국방송공학회의 3DTV연구회에서 국내의 거의 모든 홀로그램 연구자들이 모여 “홀로그래피 심층기술 워크숍”을 개최하는 등의 활동이 시작된 것은 우리나라의 홀로그램 발전을 위해 매우 고무적일 것이다. 이러한 노력들을 통해 우리나라의 홀로그램 연구의 저변확대와 급격한 성장을 기대하면서 본 고를 마친다.
