<본 글은 『월간 방송과기술』 2022년 6월호에 실린 원고입니다.>
[방송기술저널=이승환·하태림 ㈜로커스 PD]
상상
누구나 한 번쯤은 상상해봤을 것이다. 지금은 볼 수 없지만 너무나도 보고 싶은 한 사람을 만나는 것. 함께했던 그 순간을 다시 경험하는 것. 미처 하지 못했던 말을 건넨 후 위로받는 것. 이렇게 우리의 기억은 그리움을 매개로 상상력을 부추긴다. 사무치는 어떤 순간에 대한 그리움은 기술의 발전과 함께 글에서 그림으로, 그림에서 사진으로, 사진에서 영상으로 그 외피를 변모하며 삶에서 떼어낼 수 없는 소중한 경험이 되어왔다. 그리고 이제는 영상을 넘어 실감 콘텐츠를 통해 또 다른 경험의 세상이 열렸다.
2021년의 늦은 봄, MBC 이모현 PD를 만나서 <너를 만났다 3>의 기획과 제작에 대한 제안을 들었다. 당시 LOCUS는 ‘현실과 가상세계의 연결’이라는 키워드를 중심으로 다수의 프로젝트를 성공적으로 마무리하며 Next Step에 대한 고민이 한창이었다. 그동안 파리유네스코에 전시된 <기생충 VR>을 비롯해 , <서울옥션 NFT>, 등의 새로운 프로젝트들을 진행하며 메타버스 생태계와 실감 콘텐츠의 기술 및 노하우를 차곡차곡 쌓고 있었기 때문에 이전에는 없던 새로운 디지털 경험(Digital Experience)에 대한 우리의 갈증은 여전히 뜨거웠다. 그래서 MBC의 제안이 흥미로웠다. 1편과 2편이 그랬듯 여전히 제작비에 대한 부담이 있었기에 많은 이들을 설득해야 하는 과정이 있었지만 결국 MBC와 공동제작을 하게 되었다.
물론 <너를 만났다> 시리즈는 이미 다큐멘터리와 VR의 새로운 지평을 열었던 작품이고 이에 대한 부담도 분명히 있었다. 그러나 우리가 도전적인 콘텐츠를 제작하며 쌓아온 감각을 통해 제공할 수 있는 차별화된 경험이 있다고 확신했다. 특히 김하나 씨와 故유인애님의 사연을 듣고 인터뷰를 보고난 후에는 되려 욕심이 생겼다. 누군가에게 꼭 필요한, 그리고 잊을 수 없는 소중한 경험을 선물하는 일은 가슴 뛰는 일이었고 그 자체로 방송을 넘어서 의미 있는 일로 느껴졌기에.
시작
기획 및 SI 단계에서 가장 우선해서 고려했던 것은 콘텐츠의 환경이다. <너를 만났다> VR은 실시간 렌더링 파이프라인을 사용하며 동시에 촬영 카메라와 XR 소프트웨어까지의 연동이 필요하다. 또한 하드웨어가 PC뿐만 아니라 VR과 버추얼 프로덕션 솔루션까지 그 폭이 넓어지기 때문에 프로젝트의 퍼포먼스 리소스 사양이 몹시 제한적이다. 이러한 환경을 고려해서 드로우콜 테스트 및 최적화 작업에 많은 시간을 할애하며 제작 및 개발을 진행했다. 단순히 콘텐츠를 만들고 끝나는 것이 아니라 최종적으로는 방송의 결과물까지 고려해야 하는 상황 속에서 최적의 결과물을 위한 솔루션을 끊임없이 탐구해나가야만 했다.
시즌 1, 2와의 가장 큰 차이점은 캐릭터에 있다. 기존 시즌에서는 한 명의 캐릭터만 제작했던 것과 달리 60대 어머니의 마지막 모습과 30대 어머니의 젊은 모습을 함께 기획했다. 정해진 제작 기간 내에 2명의 High-Quality 캐릭터를 제작 후 인터랙션까지 가능하게 만들기 위해서는 전통적인 제작 파이프라인을 따라가지 않아야 한다고 판단했다. 그래서 단기간에 베이스 모델을 생성할 수 있는 다양한 파이프라인을 R&D 하며 프로젝트를 진행했다. 또한 기존에 LOCUS에서 제작했던 디지털 휴먼에 대한 노하우와 솔루션을 십분 활용하여 1, 2편 대비 캐릭터의 타겟 퀄리티를 상당 부분 상향해서 기획했고, 제작은 굉장히 타이트한 일정으로 진행됐다.
Character
60대 시절의 어머니는 제작에 참고할 고화질 사진이 충분히 확보되어있었다. 덕분에 베이스 모델 제작이 수월했고 사진들을 참고해서 체형, 안면윤곽 등의 작업을 우선해서 진행할 수 있었다. 암 투병 당시의 병약한 모습보다는 인천집 마당에서 평화로운 일상 속에 계신 모습을 재현하고자 하는 연출 의도를 살려 최대한 건강하셨던 모습으로 구현했다.
그중에 특별히 공들인 것은 주름의 표현이었다. <너를 만났다 3>에서는 60대 여성과 30대 여성이 함께 등장한다. 우리는 자연스러운 주름과 피부표현을 두 캐릭터 간의 명확한 차이점을 만들어낼 수 있는 포인트로 잡았다. 이를 위해 디테일한 표현을 할 수 있는 솔루션을 연구했고 보유 중인 포토그래메트리 장비를 통해 5~60대 한국인 여성의 피부 질감을 스캔할 수 있었다. 스캔 데이터는 텍스처 작업에 적극적으로 활용됐고 60가지의 모프타겟과 연동해 표정과 근육의 미세한 움직임에 따라 자연스럽게 주름이 생기고 사라지는 수준까지 표현해낼 수 있었다.
또한, 故유인애님과 체험자가 만나는 장소가 자연광을 직접적으로 받는 야외인 점을 살려서 빛과 피부의 상호작용에도 디테일한 요소들을 표현했다. 스케터링맵을 만들고 적용시켜 빛이 코나 입술 귀와 같은 얇은 피부조직에는 빛이 통과하고, 실제 사람 피부처럼 부드럽고 사실감이 도드라지도록 만들었다.
그런데 캐릭터 제작 공정을 거치며 피부의 빛 산란을 비롯한 상당 부분을 Reality Quality까지 끌어올렸음에도 산란되는 빛을 VR 디바이스와 실시간 렌더러가 계산하지 못해 제대로 표현하지 못하는 상황이 발생했다. 실시간 인터랙션 요소들과 배경 레벨 라이팅, 캐릭터의 헤어, 강아지의 털 등 많은 계산량이 요구되는 상황이었기 때문이다. 여러 방면에서 최적화에 대한 조율이 필요했고 디테일한 회의를 거쳐 배경 레벨과 캐릭터 라이팅 그리고 각 요소 간의 적절한 타협 및 최적화를 할 수 있었다. 그런데도 디바이스 및 환경의 한계로 퀄리티를 일정 부분 포기할 수밖에 없었던 부분이 못내 아쉽다.
30대 시절의 어머니는 제작에 참고할만한 고화질 사진이 많지 않았다. 또한 사진마다 촬영된 시기가 달라 안면의 윤곽과 전체적인 형태에 차이가 있었다. 이러한 조건 때문에 어떤 시기의 모습을 어떤 방향성을 가지고 제작할지에 대한 부분이 큰 이슈였고, 신혼여행 당시의 모습을 최대한 복원하는 방향으로 작업을 진행했다. 상상력을 동원해서 하나 씨의 기억 속에 있는 어머니의 모습을 재현하는 일이었기에 쉽지 않은 작업이었다.
그런데도 하나 씨가 본인과 비슷한 나이대의 어머니를 만나 못다 한 이야기를 나눌 모습을 머릿속에 그리며 의욕적으로 작업할 수 있었다. 마침내 촬영 당일 날 젊은 시절의 어머니를 보며 연신 “예쁘다, 우리 엄마”를 되뇌던 하나 씨를 보며 우리의 노력이 헛되지 않았음을 느낄 수 있었다.
배경 공간
첫 번째 공간이자 하나 씨가 어머니를 처음 만날 공간인 인천집 마당은 디지털트윈 방식으로 제작했다. 다행히도 아직 인천집에 출입이 가능했기 때문에 현장에 가서 충분한 레퍼런스 사진들과 mm 단위의 계측 데이터를 얻을 수 있었다. 인천집 곳곳의 재질과 환경요소들을 하나하나 디테일하게 재현함으로 하나 씨가 어렸을 때 봤던 그 공간을 다시 한번 경험하게 해주고자 했다.
공간을 재현한 후의 스탭은 인천집 마당을 어머니를 위한 공간으로 탈바꿈하는 것이었다. 꽃을 좋아하시던 모습을 화단과 함께 연출했고 마당 곳곳에 어머니의 흔적을 만들었다. 하나 씨가 어렸을 때 입었던 체육복, 이불 홑청 빨래부터 구석구석 놓인 화분까지 어머니가 실제로 생활하던 것처럼 연출했다. 여기에 더해 어렸을 적 키웠던 강아지 ‘나나’를 통해 인천집에 돌아온 하나 씨를 환영하고 안내하도록 했다. 하나 씨가 VR 환경에 더욱 몰입하게 만들기 위해서였다. 나나를 따라서 인천집과 마당을 구석구석 보고 난 후에는 빨래 너머에서 꿈에도 그리던 어머니가 걸어 나온다. 어머니와의 해후를 나누며 화단에 물을 주고 계단에 앉아서 도란도란 대화를 나누는 과정을 통해서 하나 씨는 VR에 완전히 몰입할 수 있었다.
어머니는 하나 씨의 둘째를 직접 만나지 못하고 돌아가셨다. 그래서 하나 씨는 둘째 아들 준우를 어머니께 보여드리지 못한 것을 평소에 마음에 담아두고 있었는데, 어머니가 준우를 보실 수 있도록 선우와 준우의 일상적인 모습을 촬영해 공간에 배치했다. 창문을 통해 들여다보이는 인천집 내부는 360VR을 활용해 입체감 있는 공간으로 제작되었으며 하나 씨는 어머니에게 선우와 준우에 대해 이야기하고 근황을 나눌 수 있었다.
마당에 있는 그네는 하나 씨가 어렸을 때 즐겨 타던 것으로 최초 기획에서는 그네를 직접 타는 인터랙션이 존재했다. 그러나 VR 환경에 익숙하지 않은 하나 씨가 멀미하거나 만에 하나의 안전문제가 생길 것을 고려해 어머니가 그네를 타는 것으로 수정했다. 하나 씨가 어머니와 함께 어린 시절 그네를 회상하며 대화를 하다 보면 자연스럽게 공간이 ‘엄마의 천국’으로 전환된다.
두 번째 공간인 엄마의 천국은 세상에 존재하지 않는 공간을 만드는 과정이 필요했다. 하나 씨가 엄마와 함께 걷고 싶어 했던 광교 호수공원이라는 모티브와 어머니가 편히 쉼을 누리고 있는 천국이라는 키워드가 있었지만 더 구체적이고 자세한 기획이 필요했다. 이를 위해 여러 차례의 컨셉아트 작업을 거치며 구체화 작업과 디벨롭먼트 작업을 진행했다.
완성된 컨셉아트를 기반으로 제작한 레벨디자인은 최적화와의 싸움이었다. 풀, 꽃, 나무 등 메쉬 카운트를 많이 차지하는 에셋들이 대부분이었고 잔잔히 흐르는 호수의 물, 불꽃놀이와 같이 실시간으로 계산이 필요한 포인트들도 많았다. 때문에 에셋 디자인 단계부터 디테일한 최적화를 설계했다. 또한 LOD 작업을 통해 하드웨어의 계산 부담을 최대한 줄였다. 라이팅 단계에서는 미세한 안개와 함께 산란하는 빛을 표현해서 천국의 몽환적인 무드를 살렸다.
첫 번째 공간인 인천집 마당이 생전 어머니의 삶을 보여주는 공간이었다면, 두 번째 공간인 엄마의 천국은 어머니와 함께하고자 하는 하나 씨의 바람이 이루어지는 공간이다. 본인과 비슷한 나이대의 어머니와 함께 앨범을 보고 사진을 찍어보고 꼭 해보고 싶었던 커플 반지를 하고 어머니와 함께 보지 못해 속상했던 벚꽃을 구경한다. 마법처럼 젊은 모습으로 돌아갔던 어머니는 시간이 흐름에 따라 다시 60대의 모습으로 돌아온다. 호숫가 밤하늘을 수놓는 불꽃놀이를 구경하며 마지막 인사를 나누고 나면, 어머니는 빛 속으로 사라진다.
Animation & Motion capture
<너를 만났다> 전작들이 그러했듯 애니메이션은 모션캡처를 기반으로 구현했다. 심소영 배우가 故유인애님을 연기했고 실시간 리타게팅 솔루션을 통해 페이셜과 바디의 모션캡처 데이터를 동시에 얻을 수 있었다. 캐릭터의 동작에 오클루전이 생길 것을 고려해 자이로 센서로 바디 모션캡처를 진행했다. 페이셜 데이터는 LOCUS의 FACS 타겟 데이터를 활용해 총 60가지 표정을 데이터와 연동하여 다양한 표정을 연출했다.
<시즌 3>은 전작들 대비 애니메이션의 분량이 2배 이상 늘어나서 데이터를 분류하고 정리하는 클린업에 많은 시간이 소요됐다. 또한 이후의 재설계와 수정하는 과정도 만만하지 않았다. 이미 모션캡처를 완료한 데이터는 동선이나 동작을 수정하는 것이 까다로웠지만 연출 의도를 반영하기 위해 불가피한 수정이 필요한 상황이 자주 발생했다. 또한 보다 더 나은 인터랙션을 위해서 미세한 동작들을 수정하는 작업이 추가로 필요했고 결국 촬영 직전까지 애니메이션 작업이 이어졌다.
Simulation
인천집 마당 호스와 같은 실시간 시뮬레이션도 동원됐다. 하나 씨가 VR 체험을 하며 어떤 동선을 취하고 어떤 액션을 할지 단정 지을 수 없었기 때문에 실시간 시뮬레이션이 필요했던 것이다. VR 환경에서 실시간 시뮬레이션을 하는 것은 안정성과 데이터에 있어서 리스크가 크지만 생생한 인터랙션을 위해 구현해야만 하는 영역이라고 생각했다. VR PC 클라이언트와 XR 촬영 PC 클라이언트, 두 개의 다른 클라이언트에서 각각 다른 사양의 컴퓨터로 실시간 시뮬레이션을 해야 하는 상황. 설상가상으로 촬영 당일까지 크고 작은 수정들이 이루어졌기에 실시간 시뮬레이션이 안정적으로 돌아갈 값을 설정하는 것에 어려움이 있었다. 다행히도 R&D를 거쳐 개발한 솔루션을 통해서 호스 등의 시뮬레이션을 구현해낼 수 있었다.
VR & XR Development
앞서 언급했듯이 <너를 만났다>는 VR과 XR 촬영 솔루션이 혼합된 형태의 콘텐츠다. 영상과는 다르게 PC에서의 작업으로 끝나는 것이 아니다. 레벨별 15분에 달하는 콘텐츠를 담아내어야 했기에 VR이 계산하지 못해 표현이 어려운 부분이 있었다. 그래서 데이터의 재사용성을 극도로 끌어올리고 특정 데이터를 베이크하는 등 최적의 환경을 설계해서 VR 디바이스가 가지는 성능과 표현력의 한계를 극복하기 위한 다양한 시도를 했다.
XR 촬영 소프트웨어와의 연동에도 많은 공수가 들어갔다. 소프트웨어와 촬영 장비의 연동 솔루션이 픽셀 열화와 뭉개짐 현상이 심하게 발생했다. 특정 씬에서는 VR보다 표현력이 떨어지고 디테일한 라이팅이 계산이 불가능했다. 이러한 문제점들을 해결하기 위해 XR 소프트웨어와 연동할 클라이언트를 따로 제작해야 했고 해당 클라이언트에는 소프트웨어에 최적화된 개발요소들만을 구현하여 방송용 촬영에 상대적으로 높은 퀄리티를 확보할 수 있도록 했다. 그럼에도 개발된 레벨디자인과 인터랙션 요소들이 많은 계산량을 요구하는 데이터들이었기 때문에 100% 표현되지 못한 것은 여전히 아쉬운 부분이다.
촬영을 마치며
많은 분들이 고생해주신 덕분에 하나 씨의 VR 체험 및 방송 촬영은 성공적으로 끝났다. 어머니의 음성을 듣자마자 눈물을 쏟는 하나 씨와 가족분들을 보며 제작진도 함께 울었다. 짧지 않은 기간 동안 R&D와 아트웍을 병행한 LOCUS의 동료 아티스트와 개발진분들 그리고 함께한 MBC 제작진분들에게 감사의 인사를 전한다.
Future of Digital Experience
그래픽 콘텐츠 제작사 입장에서 그래픽의 퀄리티는 그 무엇보다 중요하다. 결국 남는 것은 그래픽이고 평가의 기준은 항상 퀄리티이지 않은가. 하드웨어와 소프트웨어, 촬영환경 등의 한계로 그래픽 퀄리티를 타협할 때마다 마음이 어렵기도 했다. 그러나 때로는 사실적인 그래픽보다 작은 디테일 하나가 사람의 마음을 움직이기도 한다. 어떤 좋은 해상도의 사진보다도 오래되어 화질이 좋지 못해도 추억이 담긴 사진 한 장이 더 큰 가치를 갖기 마련이니까. 그렇기에 단순히 눈에 보이는 퀄리티를 넘어서 어떤 방향이 더 값진 경험을 제공할지를 고민하며 제작에 임할 수 있었다.
기술에 가치를 부여하는 건 사람이다. 아무리 기술이 발전하고 특이점을 넘어서도 그것이 우리에게 의미 있는 경험을 제공하지 못하면 큰 가치를 갖지 못한다. 발전하는 기술에 많은 관심이 쏠리고 있는 지금, 기술에 어떤 가치를 부여할지에 대해 더욱 고민하지 않으면 오히려 기술의 가능성을 제한하게 될지도 모른다. 기술을 더욱 빛나고 의미 있게 만드는 것은 결국 우리의 몫이다.
끝으로 <너를 만났다 3 : 엄마의 꽃밭>이 하나 씨와 가족분들에게 잊지 못할 추억이 되었으면 좋겠다. 이 경험을 통해 하나 씨가 이별이라는 끝을 마주하는 것이 아닌 새로운 삶을 시작할 수 있는 동력을 얻기를 바란다.
