3-1 / 홀로그래픽 3D 디스플레이 광파 공학
김휘 / 고려대학교 세종캠퍼스 과학기술대학 전자및정보공학과 교수
본 고에서는 필자의 연구결과를 중심으로 ‘스타워즈’나 ‘마이너리티 리포트’ 등의 SF영화 등을 통해 잘 알려진 홀로그래픽 3D 디스플레이 기술과 관련된 기초 연구 테마인 홀로그래픽 3D 이미지 광파의 모델 및 기초 물리적 특성에 대해 소개하고자 한다. 이러한 연구는 홀로그래픽 3D 디스플레이의 원리 뿐 만 아니라 3D 이미지 인식의 물리적 메커니즘에 대한 이해를 얻게 해준다.
프랑스의 Y. Gentet은 자신의 홈페이지 http://www.ultimate-holography.com 에서 직접 개발한 silver halide 홀로그래픽 물질에 기록한 다양한 천연색 홀로그래피 작품들을 선보이고 있다. (그림1)
그림 1. Y. Gentet의 천연색 3D 홀로그래픽 이미지 (ultimate-hologram)
이 예에서 보는 바와 같이, 3D 이미지 광파가 갖추어야 할 중요한 물리적 요소는 ①방향에 따라 다른 이미지가 두 눈에 보여야 하는 운동시차 (motion parallax), ②한 눈을 통해서 3D 이미지 광파의 공간적으로 다른 곳에 초점을 맞출 때 초점이 맞은 부분은 선명하게 보이고 그렇지 않은 부분은 흐리게 보이는 초점-비초점 효과(monocular parallax)라고 할 수 있다.
홀로그래픽 3D 디스플레이 연구의 궁극의 목표는 이를 동영상을 구현하는 것이 목표라고 할 수 있다. Y. Gentet의 홀로그램과 같은 정적인 이미지가 아닌 동영상이 디스플레이되는 홀로그래픽 3D 디스플레이를 구현하기 위해서는 기본적으로 빛의 회절을 제어할 수 있는 공간 광 변조기(spatial light modulator; SLM)와 3D 이미지 광파의 모델이 필요하다. 이러한 모델을 통해 홀로그래픽 3D 이미지 광파를 생성해 내는 computer generated hologram (CGH)를 합성해 내게 된다. SLM은 홀로그래픽 물질에 해당하는 소자로서 홀로그램이 전기적으로 기록되어 입사광을 3D 이미지 광파로 변환해 주는 역할을 한다. 3D 이미지 광파 모델은 CGH의 합성에 있어 필수적인 요소로서 계산속도의 향상은 물론 다양한 3D 물체의 텍스쳐, 질감, 조명 효과등의 시각적 표현과 관련된 이론적 연구들이 활발히 이루어지고 있다.
홀로그래픽 3D 이미지 광파의 구조는 광파가 표현하고자 하는 3D 물체의 표면의 구조에 의해 직접적으로 결정된다. 즉, 표면 텍스쳐의 구조에 의해 3D 이미지 광파의 수학적인 구조가 결정이 된다는 것이다.
그림 2에서 보인 것과 같이 삼각형 요소로 이루어진 3D 표면 물체(triangle-mesh-modeld 3D objects)를 생각해 보도록 하자. 두 개의 손이 z-방향으로 거리를 두고 위치해 있다. 관찰자가 물체를 바라보는 각도를 관측 각도라고하면 관측각도에 따라 보이는 이미지가 달라지게 된다.
그림 2. 삼각형 요소로 이루어진 3D 표면 물체
좀 더 눈여겨 볼 점은 물체가 운동시차에 의해 보는 방향에 따라 다른 이미지가 보인다는 것은, 다시 말해, 특정방향에서 관찰자에게 보이는 삼각형 요소의 집합이 달라진다는 것이다. 예를 들어 10000개의 삼각형 요소가 물체의 표면을 이루고 있을 때 특정 방향에서는 10000개 중에 2000개만 보이고, 방향이 달라지면 바로 전 방향에서 보이던 삼각현 요소 중 일부, 예를 들어 500개는 물체 앞부분에 가려져 사라지고 가려져 있던 삼각형 요소들, 예를 들어 새로운 600개의 삼각형 요소들이 다른 방향에서 보이는 이미지에 등장한다는 것이다. 이러한 효과를 occlusion effect라고 한다. 3D 디스플레이에서 필수적으로 구현해야하는 운동시차 요소이다. 한편으로는 두 방향에서 모두 보이는 위치에 놓은 (상대적으로 물체의 앞부분에 위치한) 1500개의 삼각형의 요소들도 있게 되는데 이러한 삼각형들도 관찰 위치가 변하게 되면 보이는 모양이나 삼각형 요소들간의 상대적 위치가 달라지게 된다.
이렇게 삼각형 요소 모델에서는 3D 이미징에 필수적인 두 가지 요소가 있음을 알 수 있다.
첫째, 보는 방향에 따라 요소가 보이거나 안보이거나하는 운동시차효과(occlusion effect)
둘째, 두 방향에 대해서 공통적으로 보이는 삼각형 요소가 방향에 따라 보이긴 하되 위치에 따라 연속적으로 다르게 보이는 효과이다.
첫 번째 효과는 요소의 크기에 따라 방향변화에 따른 연속적인 운동시차를 구현하지 못하는 효과가 나타난다. 즉, 첫 번째 요소에 대해서는 불가피하게 운동시차가 불연속이 된다. 하지만, 요소가 세밀해지면 사람이 변화를 연속적이게 느끼게 할 수 있다. 이는 요소의 해상도와 관련된 문제이니, 사람에게 연속적인 운동시차를 줄 수 있다.
두 번째 효과는 하나의 삼각형 요소를 사람이 볼 때, 방향에 따라 삼각형 모양이 연속적으로 달라지는 효과를 말하는데, 일정한 동공의 크기를 가지고 있는 사람의 눈이 이러한 효과를 갖는 광파를 인식할 때는 동공 크기의 유한성에 의해 삼각형에 초점을 일부러 잘 맞혔을 때는 삼각형이 선명하게 보이고 초점을 맞추지 않았을 때는 삼각형 요소가 흐리게 보이는 초점-비초점 효과를 갖게 된다.(monocular parallax)
이 두 번째 효과가 홀로그래픽 3D 이미지 광파의 가장 중요한 물리적 요소가 된다. 이 효과는 빛의 회절에 의해서 구현된다. 이를 좀더 깊이있게 이해하기 위해서는 삼각형 요소로부터 방사하는 회절 광파의 모델이 필요하다. 삼각형 요소로부터 회절되는 삼각형 공간 이미지 광파의 구조는 angular spectrum representation이라고 하는 수식으로 엄밀하게 표현되는데, 이는 파동 광학에서매우 널리 쓰이는 기본 모델이다.
기존의 방법들에서는 물체의 표면을 점들의 공간적 집합 (point cloud model)로 많이 표현해 왔는데, 이렇게 모델링 할 경우 홀로그램 이미지를 재생했을 때 마치 안개가 낀 것과 같은 뿌연 효과를 나타내게 되고 점들이 많아야 하기 때문에 표면이 매끄러운 물체들을 묘사하고 광파를 계산할 때 계산 양이 엄청나다. 필자의 연구에서는 계산 시간 및 물체 표현의 정확도 등 이외의 여러 가지 효과를 향상하기 위해서 물체 표현의 단위를 삼각형 요소로 한 것이다. (그림 3) 삼각형요소의 회절 이미지 광파를 구하기 위해서는 크게 세가지 과정을 거치는데, (1) 삼각형 요소가 x‘-y’ 평면위에 놓일 수 있도록 국소 좌표계(x’y’z’)로 변환하고, (2) 국소좌표계에서 회절광파의 angular spectrum representation을 구하고, (3) 국소 좌표계에서 표현된 광파의 angular spectrum representation을 대역좌표계(xyz)로 다시 좌표변환하여 최종적인 광파 모델을 얻게 된다. 이러한 과정에는 좀 더 세심한 수학적 기법들이 필요한데 이에 대한 자세한 이론은 이는 참고문헌[2]를 참고하면 된다.
그림 3. 삼각형 요소부터 나오는 회절 광파의 관측 시뮬레이션
그림 3의 시뮬레이션 결과에서 보는 바와 같이 빛의 angualr spectrum representation 모델은 3D 이미지 광파가 가져야 할 물리적 속성을 모두 나타낼 수 있게 한다. 그림 3에서 하얀색 동그라미는 관찰자의 눈이 초점을 맞추고 있는 삼각형을 나타낸다. 윗줄의 이미지는 왼쪽부분에 위치한 관찰자에게 가까운 삼각형에 초점을 맞춘 경우이고, 아래줄의 이미지는 오른쪽에 위치한 관찰자에게 먼 삼각형에 초점을 맞춘 경우를 보여준다. 이를 통해 일정한 동공크기를 갖는 관찰자의 한 눈이 물체를 볼 때의 초점-비초점 현상, 즉 monocular parallax 효과가 모델을 통해 잘 표현됨을 알 수 있다.
눈여겨 볼 점 하나는 관측 방향에 따라 삼각형이 보이는 모양이 달라지는 것인데, 그림3의 시뮬레이션 결과에서 정면(관측각=0)에서 물체를 볼 때는 삼각형의 면이 밝게 보이고 다른 관측 각도에서 볼 때는 삼각형의 테두리만 밝게 보이는 회절 현상을 볼 수 있다. 이러한 회절 효과는 관측자에게 삼각형 요소에 대한 연속시점을 제공한다. 관측자는 삼각형 요소를 바라보면 관측각도를 연속적으로 달리할 때, 삼각형 요소의 모양이 연속적으로 변화하는 것을 볼 수 있다. 이는 회절광파가 공간적으로 연속적인 분포를 갖기 때문이다. 이러한 회절 광파를 재생하는 홀로그래픽 3D 디스플레이는 자연스럽게 물체의 삼각형 요소에 대한 연속시점을 제공하여 멀티뷰 3D 디스플레이에서 이슈가 되고 있는 accomodation-vergence conflict 효과를 갖지 않는 자연스러운 3D 이미지를 만들어 낼 수 있다.
삼각형 요소를 집합적으로 모아보면 일반적인 3D 물체의 광파를 계산적으로 얻어낼 수 있다. 이 광파의 angular spectrum을 다이나믹하게 조절이 가능한 공간 광 변조기(spatial light moudlator : SLM)에 홀로그램으로 기록(일반적으로는 위상 정보만을 기록)하고 이를 재생하면 3D 홀로그래픽 이미지를 디스플레이할 수 있는 것이다.
그림 4에서는 CGH(computer generated hologram)을 통한 홀로그래픽 3D 디스플레이의 구조와 실험결과를 보였다. 실험 결과에서 왼쪽 편의 붉은색 이미지는 컴퓨터 시뮬레이션 결과이고, 오른쪽 편의 회색 이미지는 실제 실험에서 얻은 결과이다. 초점 위치에 따른 초점-비초점 효과가 재현되는 것은 물론 이론과 실험의 결과가 거의 동일함을 확인할 수 있어, 앞에서 설명한 3D 이미지 광파 모델의 정확성을 가늠할 수 있다.
그림 4. CGH 홀로그램의 재생 및 관측
3D 이미지 광파의 물리적 특성
렌티큘라 3D 디스플레이 (lenticular 3D display), 인테그럴 이미징 (integral imaging)등의 멀티뷰 디스플레이들과 본고에서 논한 홀로그래픽 3D 디스플레이의 근본적인 차이점은 회절에 의한 연속 시점의 성질을 갖느냐 못갖느냐의 차이점으로 생각할 수 있겠다. 최근의 Super-multi-view 기법을 통한 3D 디스플레이에서는 멀티뷰의 시야각 해상도를 동공 크기보다 작게 하여 사람의 시각에 대한 연속시점을 구현하려 하는데, 이는 멀티뷰 3D 디스플레이에서 사람 눈에 준연속시점의 효과, 즉 초좀 비초점 효과를 부여함으로써 accomodation-vergence conflict 문제가 없는 자연스러운 3D 이미지를 제공할 수 있는 기술로서 활발히 연구되고 있다.
홀로그래픽 3D 디스플레이는 현재의 디바이스 기술로는 넓은 시야각과 큰 사이지의 이미지를 제공하기에는 한계가 있어, 기초 연구 단계에 있다고도 볼 수 있다. 계속적으로 다양한 3D 물체에 대한 3D 광파 이미지의 모델에 대한 연구는 보다 다양한 표면과 시각적 효과를 담아내기 위한 모델에 대한 연구가 더 진행되어야 하며, 홀로그램을 띄울 수 있는 고정밀의 해상도를 갖는 SLM을 개발이 함께 이루어져야 할 것이다. 디바이스 레벨에서의 기술적 혁신이 요구된다고 할 수 있다.
참고문헌
1. K. Matsushima, "Computer-generated hologram for three-dimensional surface objects with shade and texture," Applied Optics 44, 4607-4614, 2005.
2. H. Kim, J. Hahn, and B. Lee, "Mathematical modeling of triangle-mesh-modeled three-dimensional surface objects for digital holography," Applied Optics 47, D117-D127, 2008.
3. J. Hahn, H. Kim, Y. Lim, G. Park, and B. Lee, "Wide viewing angle dynamic holographic stereogram with a curved array of spatial light modulators," Optics Express 16, 12372-12386, 2008.
