<본 글은 『월간 방송과기술』 2022년 12월호에 실린 원고입니다.>
Lulu AR 창업자 & 공동 책임 프로듀서
<차세대 미디어 주간> 컨퍼런스의 두 번째 세션이 끝나고 지난해 Fox의 제작으로 국내 아바타 제작의 붐을 일으킨 Lulu AR의 마이클 진맨 씨를 만나보았다. 그는 풍부한 프로그램 제작 노하우를 통해 와 에서 현실적인 아바타를 선보이며 프로그램을 성공으로 이끌었다. 질문에 성실히 답변해준 마이클 진맨 씨에게 감사드리며, 전 세계적으로 센세이션을 일으킨 의 제작 과정과 노하우, 에피소드에 대해 살펴보자.
‘Lulu AR’의 창립자로서 간단한 소개 부탁드리겠습니다.
콘텐츠의 이동 방향에 따라 회사를 설립하게 되었다고 말씀드리고 싶습니다. 전통적인 16:9의 포맷을 벗어나서 소셜미디어, 메타버스와 연관하고, AR/VR 등 기술들의 활용을 경험하며 시대가 필요로 하는 회사를 창립하고 싶었습니다. 2019년 11월에 감독인 친구와 시상식을 제작하게 되면서 기술적으로 어느 정도 준비가 되었고 스토리텔링만 더해진다면 좋겠다고 생각했습니다.
그리고 ‘Lulu’는 지금은 4살인(당시 1살) 제 친딸의 애칭인데요, 딸이 20대, 30대가 되었을 때 어떻게 콘텐츠를 소비하게 될까에 대해 생각을 하다가 지금과 같이 콘텐츠를 이용하고, 소비하지는 않을 것 같다는 생각이 들게 되었습니다. 이런 모든 것을 바탕으로 회사를 창립하였고, 세계적 팬데믹으로 상황이 여의치는 않았습니다. 기술적으로도 부족한 상태였고요. 몇 년이 지나고 나서 가상세트, 아바타 구현 등의 AR 기술을 더욱 확보하였고, 제작 경험과 기술력, 프로그램 기획력을 바탕으로 와 같은 아바타 경연의 TV쇼를 제작하게 되었습니다.
Alter Ego 제작에 관여 정도
쇼의 전반적인 부분을 모두 총괄하였습니다. 일러스트레이터 등 인력 채용, 방송사 PD와의 협력과 조율, 아바타 디자인 및 실제 구현, 무대 구상, 에디팅 등 모두 말이죠. 제작 당시에 5~6주 정도는 방송과 동시에 진행해야 해서 좀 힘이 들었던 시기도 있었습니다.
Alter Ego의 인기가 어느 정도였나요?
굉장히 성공적이었습니다. 세계적으로 시청률이 낮아지고 있는 현실에서 방송이나 제작사 측면에서는 성공적이라고 보고 있으며 2023년에 새로운 시즌도 준비 중입니다. 새로운 아바타의 디자인과 구현을 진행하고 있고 쇼의 방향과 포맷, 관련 기술에 대해 생각하고 있습니다.
Alter Ego 제작 과정이 궁금합니다.
Fox alternative entertainment와 함께 2021년 2월 시작하게 되었습니다. 당시 Fox 측에서 11개의 에피소드와 노래를 부르는 아바타 컨셉의 쇼에 대해 제의를 했고, 현실적으로 한정된 예산안에서 가능하겠는지 물었습니다. Fox의 지원과 협력이 있었고, 같이 고생하여 제작하게 되었습니다. 하지만 2월 당시에는 원활한 제작이 어려울 것으로 생각하기도 했는데요, 그동안 아바타를 이용한 쇼는 많이 있었지만, 하루에 많은 아바타가 스케줄에 맞춰서 하는 쇼는 없었기 때문입니다. Fox에서 쇼에 대해 제의를 한 후 2~3주 후에 우선 아바타 하나에 대해 확인하기 위해 찾아왔었습니다. 아바타의 눈 구현과 감정 표현이라든지, 관객들이 공감할 수 있는지를 보러 왔고, “괜찮다”고 하더군요. 4~5월에는 더 확장하여 해보기로 했는데, 이 프로젝트가 없어질 리스크도 감당해야 했던 시기였었죠. 6월쯤 3명의 아바타로 파일럿 프로그램을 제작했었는데 ‘스토리가 설득력이 있는지’, ‘유기적으로 아바타들이 움직이는지’ 등을 체크하기 위해서였고, Fox의 반응은 굉장히 낙관적이었습니다. 비록 많은 리스크도 있었지만 무엇보다 이러한 AR 기반의 쇼를 처음으로 선보이고 싶다는 저희의 강한 의지로 감수하며 진행할 수 있었습니다.
Alter Ego 제작에서 중점적으로 노력했던 일
무엇보다 아바타가 현실적으로 느껴지도록 노력하였고, 이를 뒷받침하는 기술력에 집중하였습니다. 캐릭터가 보다 현실적으로 보이려면 AR 기술을 통해 보다 입체적으로 만들어야 하고, 다양한 표현을 할 수 있어야 합니다. 이를 위해선 기존보다 카메라 작업이 늘어났습니다. 평소와 같은 조명에서는 아바타가 현실적이지 않은 느낌이 들어 신경을 써야 했고, 눈 부분도 모션캡처를 활용해 마치 살아있는 듯한 효과를 주고자 했습니다. 카메라 무빙에서도 기존과는 다른 방식으로 아바타를 촬영하여 현실감을 높였습니다. 또한, 전반적으로 이러한 기술을 더욱 잘 사용하기 위해 노력하고 매진하였습니다.
아바타의 캐릭터 디자인 구현에 대해
3명의 일러스트레이터를 고용해서 캐릭터 디자인했고, 아바타 캐릭터 20명의 내러티브(아바타 캐릭터의 성격, 방향, 스토리 등)를 방송사 PD들이 지정해줬습니다. 일러스트레이터의 흑백 스케치에 더해 VFX와 3D 모션캡처 등을 Silver Spoon을 통해 진행하였고, 캐릭터별 맞춤형 디자인의 승인과 수정을 거치고 그림자 작업까지 마무리했습니다. 에피소드별 다양화를 위해 20명의 캐릭터 당 4벌의 의상을 준비했는데 총 80벌인 것이죠. 또한, 어떤 특별함을 주고자 캐릭터별 레이저를 쏜다든지, 팔의 문신이 돌아가는 등의 특수효과를 디자인하였는데, 아바타가 울어야 할 타이밍에 버튼을 눌러 눈물을 보이는 등의 동작까지 전부 설정을 했습니다. 이런 모든 작업을 마무리하는데 4~5개월이 걸렸습니다.
실제 무대에서는 언리얼 엔진의 DMX 기능을 활용하여 이를 가능하게 하였으며, 500개의 조명을 조정하고, 그림자와 반사까지 고려하여 수정의 과정을 반복하며 현실적인 아바타 디자인을 만들어 낸 것이죠.
생방송으로 진행되어 문제가 발생하지는 않았나요?
처음 4개의 에피소드를 제작할 때는 네트워크가 합쳐져 있어서 어디에서 문제가 발생했는지 파악하기가 어려웠습니다. 모션캡처, 스트리밍, 라이팅, 트래킹 등을 분리하여 이 문제를 해결했고, 관중도 200여 명이나 되다 보니 이에 맞추어 진행하기가 참 어려웠습니다. 그렇지만 동작이 안 되거나 필요한 부분의 수정에 있어서도 바로 적용이 가능했기에 진행에 있어 어려운 부분은 없었고, 8개월의 준비로 무사히 각 에피소드를 제작할 수 있었습니다.
한국에서도 ‘Alter Ego’와 비슷한 프로그램이 방송되고 있는데, 국내 AR/VR 기반의 제작자분들에게 하고 싶은 말이 있다면?
우선은 포기하지 말 것을 말씀드리고 싶습니다. 저희도 초반에는 어려움을 겪고, 고생을 하였지만 이를 이겨냈을 때의 희열은 그 무엇과도 비교할 수 없을 것입니다. 처음으로 하다 보니 시행착오를 겪는다고 생각하시고, 새로운 시도를 통한 자신만의 경험으로 더욱 많은 것을 얻어내시길 바랍니다. 개인적으로 실제 댄서와 일했던 경험이 쇼 제작에 많은 도움이 되었는데, 사람이 하는 일이다 보니 ‘즐겨야 잘 할 수 있다’라고 말씀드리겠습니다.
평소 본인의 일을 더 잘하기 위해 어떤 노력을 하시는지?
AR/VR을 통한 아바타 작업은 신경 쓸 것도 많고, 완성점을 찾기까지 굉장히 스트레스가 많이 발생합니다. 시즌 2를 준비 중인데, 시즌 1의 기술을 그대로 사용하면 오래된 기술이고, 하나를 바꾸면 나머지 부분이 틀어져 모든 부분에서 어려움을 느끼고 스트레스가 되는 것이지요. 하지만 이런 부분에서 재미를 느껴야 합니다. 재미가 없다면 새로움도 발생하지 않는 것이죠. 이 점을 항상 염두에 두어 일을 하고 있고, 딸과 함께 있을 때는 신기하게 모든 스트레스가 없어져 버립니다. 놀랄 만큼요.
기술의 발전 속도에 대해
기술의 발전이 엄청나게 빠르지 않습니까, 60년대만 생각해도 많은 서버와 랙이 갖춰진 공간에서 작업을 했었지만, 지금은 엄청나게 발전했듯이, 저희가 지금 AR 작업을 하는 것이 비슷한 상황이라고 생각합니다. 기술은 더욱 발전할 것이고, 이와 반대로 그에 따른 비용은 줄어들 것입니다. 5년 정도 후에는 스마트폰으로도 바로 저희가 몇 개월에 걸쳐 제작했던 아바타를 순식간에 만들어내는 것이 가능할 것으로 보고 있습니다.
TV가 없어질 것으로 생각하시는지?
현실적으로 TV가 몇 년 안에 없어지지는 않겠죠. 하지만 10년~15년 후에는 모를 일입니다. 그와 마찬가지로 메타버스 세상으로 갑자기 변화하지도 않을 것이고요. 방송종사라로서 이런 말을 하기가 이상하기도 하지만 언젠가는 지금과 같은 식으로는 TV를 볼 것 같지는 않을 것 같습니다. 이런 상황에서도 미래를 예측하고 준비하는 기업들이 있다는 것에 또한 놀랍기도 합니다.
Lulu AR의 미래로는?
회사가 추구하는 방향을 아바타로 생각하시면 되겠습니다. 단기 목표로는 소셜미디어에 와 같은 프로그램을 스트리밍하는 것과 의 시즌 2 제작 그리고 중국에서 내년에 선보일 와 같은 프로그램의 제작입니다.
장기 목표로는 더욱 기술을 발전시켜 인스타그램이나 Meta 같은 소셜미디어에서 사용할 수 있도록 하는 것입니다. 실제로 아이폰 등을 통해 일반인들이 자신의 아바타를 만들고, 이를 공유할 수 있게 되는 것이죠. 더욱 개선되고 화려한 콘텐츠로 다시 찾아뵈면 좋을 것 같네요. 감사합니다.
<이미지 출처 : Lulu AR 홈페이지, Fox alternative entertainment, cgsociety.org>
