[방송기술저널 전숙희 기자] The Relightables는 Google AI팀이 개발한 가상 환경에 맞춰 조명을 조절할 수 있는 볼륨 메트릭 동영상(Volumetric Video) 촬영이 가능한 시스템이다.
기존에는 3D 촬영물을 가상 환경에 적용할 때 촬영 시 적용한 조명을 변경할 수 없어 사실감을 부여하는 데 어려움이 있었으나, 가상 광원(Virtual Light Source)을 활용해 3D 모델에 아주 사실적인 조명을 비추는 것이다.
The Relightables은 돔 형태의 구조에 330개의 프로그램 가능한 LED와 100대의 카메라를 설치했으며, 카메라를 심도 센서처럼 운영해 피사체를 12.4MP 심도 맵으로 캡처할 수 있다.
또한, Google AI팀은 캡처한 데이터로부터 영상을 합성하기 위해 기하학적 머신러닝 재구성 파이프라인(ageometric and machine learning reconstruction pipeline)을 개발했다. 시스템은 심도 맵과 시간 동기화한 반사 맵(Reflectance Maps)을 캡처해 촬영 시 적용한 조명을 유지하는 대신 증강현실이나 가상현실 장면에서 피사체의 조명 조절이 가능하도록 지원한다.
