가상에 현실을 담아내는 버추얼 프로덕션

[기고] 가상에 현실을 담아내는 버추얼 프로덕션

938

<본 글은 『월간 방송과기술』 2024년 3월호에 실린 원고입니다.>

[방송기술저널=한영주 한국방송통신전파진흥원 연구위원 / 언론학 박사] 미디어 시장은 OTT가 주도하는 콘텐츠 경쟁에서 기술적 요소를 추가한 디테일을 살리는 고퀄리티의 콘텐츠 경쟁으로 진화하였다. 이처럼 미디어 시장에서 콘텐츠 경쟁은 새로운 콘텐츠를 발굴하기 위해 다양한 기술 요소를 접목하고 실험적인 제작 방식에 도전하며 콘텐츠 제작의 기술력으로 변화하게 된 것이다. 기술이 접목된 콘텐츠 제작은 세계관을 이루는 탄탄한 스토리 구조와 과거, 현재, 미래를 넘나드는 입체적인 캐릭터를 구현하면서 영상의 시청각 요소를 더욱 풍부하게 만들어준다. 이제 콘텐츠 경쟁은 세밀한 표현을 어느 정도로 구현할 수 있는지에 관한 문제로 옮겨가며 기술력 수준에 주목하고 있다. 그중에서도 모든 첨단 기술을 총망라한 가상 제작 방식은 사실 같은 표현을 실현하며 창작의 범주를 넓히고 있다.

버추얼 프로덕션 시장은 글로벌 기준으로 2022년 18억 달러, 2023년 22억 달러로 전년 대비 20% 성장했으며 2027년에는 24억 4,747만 달러로 2022년에서 2027년까지 6년간 연평균 성장률(CAGR) 18.2%로 성장할 것으로 전망된다. 미디어 산업에서 혁신적인 제작 방식으로 떠오르는 버추얼 프로덕션이 무엇인지 정리해보았다.

버추얼 프로덕션의 도입 배경
본래 버추얼 프로덕션 방식은 할리우드의 대형 블록버스터급 영화 제작에서 볼 수 있었지만, 최근에는 미디어 접근성이 좋아지며 방송, 광고, 공연 등의 일상에서 미디어를 통해 쉽게 즐길 수 있는 각종 콘텐츠 제작에서도 활용되기 시작하였다. 이는 코로나19를 계기로 국내외 촬영지를 확보하기가 어려울 뿐만 아니라, 야외 촬영 자체를 할 수 없을 정도로 제약이 많은 상황에서 대안적 방식으로 크게 부상하면서 주목받게 되었다. 실제로 2019년 디즈니플러스에서 공개한 SF 시리즈 <만달로리안(2019)>은 버추얼 프로덕션 방식을 이용한 최초의 OTT 콘텐츠로 선보이며 많은 관심을 얻었다. 당시 <만달로리안> 촬영분 중에서 절반 이상이 버추얼 프로덕션 방식을 활용한 것이 알려지며 새로운 제작 방식에 많은 관심을 끌게 되었다. 이후 미디어 산업계에서는 가상 제작 방식인 버추얼 프로덕션과 이를 가능케 만드는 버추얼 스튜디오에 관심을 두고, 실제 콘텐츠 제작과정에 도입하고 있다.

코로나19를 계기로 버추얼 프로덕션에 생긴 관심은 로케이션 및 대규모 인원 동반 촬영의 한계, 기상 상태 등 외부 환경에 영향받지 않는 안정적인 제작 여건이라는 산업적인 공감대로 확산하며 기존의 촬영 환경과 방식을 개선하려는 목적으로 버추얼 프로덕션의 도입과 활용에 대한 검토가 적극적으로 진행되었다. 나아가 메타버스가 부상하며 멀티버스 환경에서 새로운 콘텐츠 제작 방식으로 필요성과 산업적 수요 발생 등 여러 가지 잠재적인 가능성을 갖추었고, 장기적 측면에서는 제작비용을 절감하는 경제적인 효과까지 기대해 볼 수 있다.

<만달로리안> 버추얼 프로덕션 촬영 과정 / 출처: Epic Games (2020. 2. 21).

버추얼 프로덕션의 특성
버추얼 프로덕션 방식은 디지털 세계와 현실 세계를 실시간 연결한 실사 프로덕션 기법으로 디지털 프로세스와 상호작용을 통해 복잡한 장면, 또는 실제 촬영 불가능한 장면의 시각화를 위해 활용한다. 버추얼 프로덕션 방식은 후면, 또는 후면과 좌우가 대형 LED 월(wall)에 둘러싸인 스튜디오에서 2D나 3D 형태의 실사 이미지나 실사 영상과 가상 세트의 조화를 이루며 촬영하는 방식이다. 이 같은 방식은 프로덕션 방식의 촬영과 포스트 프로덕션 방식의 편집, 특수효과 등 기존에 단절되어 분업 구조를 지닌 제작 방식과 다르게 프로덕션 과정에서 대부분 작업이 동시에 이뤄지며 완성물에 가까운 영상이 실시간으로 처리된다는 특징이 있다.
즉 버추얼 프로덕션은 전반과 후반으로 단절되었던 제작과정을 하나로 통합해서 시각효과의 동질성 유지하며 품질력과 완성도를 보장할 수 있게 되었다. 버추얼 프로덕션을 활용한 제작은 월드 캡처, 시각화, 퍼포먼스 캡처, 사이뮬캠, 카메라 내 시각효과 등 여러 기술을 연동해서 콘텐츠 기획부터 완성까지 전 과정을 실행한다.

버추얼 프로덕션 방식 / 출처 : Deloitte (2020).
VFX 주요 기술 요소

기존 프로덕션 방식과 버추얼 프로덕션 차이
버추얼 프로덕션 방식은 지금까지도 대중적인 콘텐츠 제작 방식이라고 할 수 없지만, 실사에 가까운 풍부한 시청각 효과를 통해 눈높이가 높아진 요즘 미디어 이용자들의 시선을 사로잡고 흥미를 끄는 몰입감을 선사한다. 또한 버추얼 스튜디오의 확장성과 잠재적인 가능성은 경제적인 효율성과 연결되며 산업적 측면에서 기대가 높은 편이다.

기존 제작 방식은 비선형으로 순차적 과정을 거치기 때문에 내적, 또는 외적 원인으로 변수에 대한 유연성이 매우 취약한 단점이 있다. 가령, 시나리오가 수정되거나 장소 또는 배우가 교체될 경우, 추가 아이디어가 반영된 경우, 날씨나 주변 소음 등이 발생한 경우, 사실상 수정이나 보완이 어려워서 전 과정이 다시 진행될 경우도 있다. 이때 시간, 비용, 인력 등 물적, 인적 자원이 추가로 투입될 수밖에 없다는 구조적인 한계가 있다. 반면에 버추얼 프로덕션이 기존 제작과정을 간소화해서 시간과 비용을 효율적으로 절약할 수 있다는 장점을 지녔기 때문이다. 궁극적으로 버추얼 프로덕션의 핵심 목표는 기존 제작 프로세스를 혁신하는 것이 아니라 비효율적 제작 프로세스를 전환하는 것에 있다. 그뿐만 아니라, 실시간으로 디자인, 촬영, 시각적인 특수효과 작업이 통합적인 제작 솔루션 형태로 제공되면서 기존 제작 방식과 비교할 때 약 30% 수준의 절감 효과를 기대할 수 있다. 실제로 미국 케이블TV 채널 FX의 ‘스노우폴(Snowfall)’은 장비 이동 및 운송, 촬영 시간, 제작 부담을 줄여서 회당 최대 49,000달러, 시즌 당 최대 315,000달러를 절약한 사례가 있다.

버추얼 프로덕션 활용 사례
캐나다 미디어 기업 ‘픽소몬도(Pixomondo)’의 광고에서는 실제 축구 경기장의 생동감을 버추얼 프로덕션을 통해 그대로 재연하였다. 이 광고는 실제 사람을 모델로 3D 스캔하고 비콘(Vicon)의 모션 캡처를 통합하고 결합한 언리얼(Unreal) 기반 픽소몬도 군중 시스템으로 구현되었다. 픽소몬도 군중 시스템으로 축구 경기장의 군중 20,000여 명을 구현하고 군중들의 감정을 100개 이상 표현할 수 있도록 구성해서 광고에 현실감을 불어넣었다.

Caledon Football Club 광고의 버추얼 프로덕션 과정 / 출처: Epic Games (2022. 10. 13).

미국의 지상파 채널 ABC의 TV 시리즈 드라마 <스테이션19(Station 19)>는 시즌 5(2021)부터 방송 분야 최초로 버추얼 프로덕션을 통해 제작하였다. <스테이션 19>는 LA에 위치한 스타게이트 스튜디오(Stargate Studios)의 언리얼 기반 트루뷰(ThruView) 시스템을 이용한 버추얼 프로덕션 방식이었다. 트루뷰 시스템은 16피트 와이드 모듈러 스크린에 구현된 3D 배경에 2D 영상을 캡처하고 변환해서 실시간으로 합성하는 시스템이다. 스타게이트 스튜디오는 1989년 촬영 감독이자 특수 시각효과 감독 ‘샘 니콜슨(Sam Nicholson)’이 설립한 제작 스튜디오로 국내에서도 잘 알려진 미국 TV 시리즈 <워킹데드>, 등 다수의 하이테크 영화와 TV 시리즈를 제작하였다.

<스테이션 19> 버추얼 프로덕션 과정 / 출처 : Epic Games (2022).

국내 미디어 기업 CJ ENM은 벽면 360도와 천장 모두 삼성전자의 최신 마이크로 LED 기술 ‘더 월’ 제품을 세계 최초로 탑재한 신기술이 집약된 미래형 버추얼 스튜디오를 구축하여 버추얼 프로덕션을 실행한다. 삼성전자 LED 월은 지름 20m, 높이 7m 이상 크기 타원형 구조로 국내 최대 규모로, 기존 LED에 비해 한층 선명한 화질과 완성도 높은 디스플레이로 알려져 있다. CJ ENM의 버추얼 스튜디오는 경기도 파주시에 위치하고 있으며, 총 210,381㎡(약 6만 4천 평) 규모 최첨단 복합 스튜디오로 영화, 드라마, 예능, 공연 등 다양한 용도로 활용하고 있다. 넷플릭스 한국 오리지널 콘텐츠 <고요의 바다(2021)>는 CJ ENM 스튜디오 센터의 버추얼 스튜디오 활용, 스토리 주요 배경인 달 표면을 생동감 있게 표현한 바 있다.

<고요의 바다> 버추얼 프로덕션 촬영 과정 / 출처 : CJ ENM (2022. 5. 24).

향후, 국내 버추얼 프로덕션은?
버추얼 프로덕션은 해외에서 할리우드 영화제작의 노하우 응용과 OTT 콘텐츠 제작의 영향으로 국내에서보다 빠르게 도입되었고 버추얼 프로덕션 전문 제작사를 중심으로 스튜디오 시스템을 갖추었다. 국내에서는 시장 지배력이 높은 미디어 기업이 대형 버추얼 스튜디오 시스템을 구축하고 자사 계열사를 활용한 수직계열화 구조를 형성하고 있다. 국내 대표적인 미디어 기업 CJ ENM의 경우, CJ 그룹사 내 엔터테인먼트&미디어 부문을 계열사로 활용하며 제작, 유통, 서비스까지 체인형 시스템을 형성하고 있다. 구체적으로 살펴보면, 방송프로그램 제작 및 공급(스튜디오드래곤), 신기술연구 및 기술 활용 제작(CJ올리브네트웍스), 버추얼 프로덕션 등 대규모 융복합 제작 시스템 환경(CJ ENM 스튜디오센터), OTT 플랫폼 공급 및 서비스(TVING)로 구성하고 있다.

반면에 국내 중소 미디어 기업이나 스타트업 입장에서 버추얼 프로덕션 방식은 제한적일 수밖에 없다. 버추얼 프로덕션은 고사양・고가격의 첨단 기술이 집약된 여러 장비들과 대형 스튜디오의 통합과 연동이 필연적이므로 신규 스튜디오를 마련하거나 기구축된 스튜디오를 임대하는 방식을 활용한다. 이 과정에서 대규모 자본이 투입될 수밖에 없는데 실제로 1일 기준 버추얼 스튜디오 대여 비용은 약 5,000만 원에서 1억 원 수준으로 비용 투입에 대한 부담감으로 인해 잠재적인 성장 가능성에도 불구하고 현실적인 접근성은 낮은 편이다. 특히 중소 사업자나 스타트업 사업자는 진입 장벽이 높은 상황이다. 최근 KBS2 방영 중인 <고려거란전쟁(2023)> 제작에 참여한 ‘비브스튜디오스’와 같이 독립적으로 스튜디오를 구축하고 버추얼 프로덕션 제작을 전문으로 한 사업자도 있지만, 아직 국내 버추얼 프로덕션은 소수의 대형 미디어 기업에서 주도하는 형태이며 산업적으로 미숙한 상태이다.

국내 버추얼 프로덕션은 시장 형성도 제대로 갖춰지지 않았는데 자본 투입에 대한 부담이 장기화되고 사업자 간 격차를 극복하지 못한다면, 자본력을 지닌 특정 기업을 위주로 집중될 수밖에 없어서 중소 사업자와 스타트업 사업자의 접근성은 더욱 제한될 수도 있다. 이는 버추얼 프로덕션이 향후 잠재적 발전 가능성이 높은 산업으로 평가되지만, 초기 시장에서 다양한 사업자의 참여 기반이 조성되지 않아 독점적인 구조로 흘러갈 가능성도 있다. 이에 국내 버추얼 프로덕션 산업이 균형 발전으로 공정 경쟁을 실현하기 위해서는 초기 인큐베이팅 차원에서 정부 차원에서 지원사업을 통해 역량 있는 중소 사업자와 스타트업 사업자를 조기에 발굴하고 육성하는 일도 중요할 것이다.

참고문헌
・CJ ENM (2022. 5. 24). CJ ENM, 미래형 영상 콘텐츠 제작 스튜디오 ‘버추얼 프로 덕션 스테이지’ 본격 시동
・Deloitte (2022). Virtual production gets real: Bringing real-time visual effects onto the set
・Epic Games (2022). LA Lab Magazine
・Epic Games (2020. 2. 21). 영화 제작자들에게 새로운 제작 파이프라인을 선사한 ‘The Mandalorian’. Unreal Engine Korea
・Epic Games (2022. 10. 13). Pixomondo gives viewers a kick with new virtual production-based soccer commercial. Unreal Engine Global
・Grand View Research (2022). Virtual Production Market Size & Trends
・Variety (2022. 4. 20). How Virtual Production Is Helping to Cut Costs and Reduce Carbon Footprint