<본 기고글은 본지의 편집 방향과 다를 수 있습니다.>
[방송기술저널=김학현 SBS 방송기술팀 차장, 정보통신기술사]
들어가며
SBS는 2026년 3월 3일 봄 개편을 기점으로 국내 방송사 최초로 메인 뉴스인 8뉴스에 AI-XR 스튜디오 시스템을 전면 도입하였다. 단발성 특집이 아니라 매일 방송되는 메인 뉴스에 고도화된 AI·XR 기술을 상시 적용하는 것은 국내 방송 역사상 이번이 처음이다. 약 20억 원의 예산을 투입하여 2025년 10월 ‘AI-XR 뉴스 스튜디오 추진 기획안’ 승인부터 2026년 3월 오픈까지 약 5개월 만에 완성한 이 스튜디오는 대형 LED Wall, 최신 XR 솔루션, 그리고 차별화된 AI 기술의 융합으로 ‘뉴스 비주얼의 새로운 차원’을 열었다는 평가를 받고 있다.
스튜디오는 크게 XR Zone, AR Zone, VR Zone(버추얼 스튜디오) 세 영역으로 구성된다. XR Zone에는 가로 8.5m, 세로 3.5m의 3도 곡면 4K LED 월이 설치되었고, 마커리스 비전 트래커 2세트와 30㎡ AI 모션 에어리어(AI 모션 카메라 6대)가 갖춰졌다. 본고에서는 이 스튜디오의 기술적 핵심을 이루는 AI 기술 세 가지, 즉 ① 초고성능 GPU 기반 실시간 렌더링, ② AI 모션 트래킹, ③ AI Driven Graphics(3D 가우시안 스플래팅)를 중심으로 기술적 원리와 방송 적용 의의를 살펴본다.
AI 기술 ①: 초고성능 GPU & 실시간 렌더링 엔진
NVIDIA DLSS + Unreal Engine 5 기반 실시간 XR 합성
SBS AI-XR 뉴스 스튜디오의 렌더링 파이프라인은 NVIDIA RTX PRO 6000 Blackwell GPU와 Unreal Engine 5(UE5)의 결합으로 구성된다. 방송 XR 합성의 핵심 과제는 실제 카메라 영상과 3D 가상 배경을 한 치의 지연 없이 정합시키는 것인데, 여기에 NVIDIA의 DLSS(Deep Learning Super Sampling) 기술이 결정적 역할을 한다.
DLSS는 딥러닝 신경망을 활용해 저해상도로 렌더링된 영상을 고해상도로 업스케일링하는 AI 기반 이미지 재구성 기술이다. GPU의 Tensor Core가 수행하는 추론 연산을 통해, 더 낮은 내부 해상도에서 렌더링하면서도 4K에 준하는 화질을 실시간으로 구현할 수 있다. 특히 DLSS의 Anti-Aliasing(DLAA) 기능은 방송 영상에서 치명적인 계단 현상 등의 왜곡/간섭(aliasing)을 딥러닝 방식으로 억제하여 LED Wall에 투영되는 3D 배경의 선명도를 크게 향상시킨다.
UE5는 Lumen(전역 조명), Nanite(마이크로폴리곤 렌더링), Temporal Super Resolution 등 최신 실시간 렌더링 기술을 집약한 엔진으로, 방송·라이브 이벤트 분야에서 영화 수준의 CG를 실시간으로 구현하는 사실상의 업계 표준이 되었다. UE5와 DLSS의 결합은 복잡한 3D 씬을 방송용 60fps(또는 그 이상)로 안정적으로 출력하는 것을 가능하게 하며, 앵커의 동선에 따라 가상 배경이 즉각적으로 반응하는 몰입형 XR 방송 환경을 실현한다.
AI 기술 ②: AI Motion Tracking
마커리스 멀티 카메라 센싱 시스템
전통적인 방송 XR 시스템은 카메라나 출연자에 물리적 마커를 부착해 위치를 추적하는 방식을 사용했다. 이 방식은 마커 준비에 시간이 걸리고 출연자의 움직임에 제약을 주며, 마커가 화면에 노출될 경우 후처리가 필요한 단점이 있었다.
SBS AI-XR 스튜디오는 이를 극복하기 위해 멀티 AI 모션 카메라 기반의 마커리스(Markerless) 센싱 시스템을 도입하였다. XR Zone과 VR Zone 각각 6대, AR Zone 3대, 총 15대의 트래킹 카메라가 30㎡(XR Zone 기준) 이상의 AI 모션 에어리어를 입체적으로 커버한다. 각 카메라의 영상을 AI가 실시간으로 분석해 출연자의 골격(skeleton) 정보를 3D 공간에서 추출하며, 복수의 카메라 데이터를 융합함으로써 단일 카메라의 사각지대나 오클루전(occlusion) 문제를 극복한다.
추출된 3D 모션 데이터는 UE5로 실시간 전송되어 가상 배경 및 AR 오브젝트의 시점 변환, 앵커와 가상 객체 간의 인터랙션 등에 활용된다. 또한 기상 코너에서 기상 캐스터의 신체 움직임을 감지하여 가상 지도 위에 정확하게 합성하는 데도 쓰인다. 마커리스 방식은 방송 현장의 준비 시간을 단축하고 출연자에게 자연스러운 움직임 자유도를 부여한다는 점에서, 뉴스 생방송의 실용성과 표현력을 동시에 향상시키는 핵심 기술로 평가된다.
AI 기술 ③: AI Driven Graphics — 3D Gaussian Splatting(3DGS)
국내외 방송사 최초 도입, 현실 공간의 디지털 트윈 구현
세 번째이자 가장 혁신적인 기술은 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)이다. 이 기술은 2023년 SIGGRAPH에서 발표된 이후 실시간 포토리얼리스틱 렌더링 분야에서 NeRF(Neural Radiance Fields)의 강력한 대안으로 주목받고 있다.
3DGS의 작동 원리는 다음과 같다. 먼저 LiDAR 센서 또는 다수의 사진으로부터 3차원 포인트 클라우드 데이터를 수집하고, 각 포인트를 위치·크기·방향·색상·불투명도를 가진 가우시안 타원체(Gaussian Ellipsoid)로 표현한다. 이 수백만 개의 가우시안 프리미티브를 GPU의 래스터라이제이션 파이프라인을 통해 고속으로 렌더링하면, NeRF 대비 수십 배 빠른 속도로 현실감 있는 3D 장면을 재구성할 수 있다. 한국방송공학회지에 게재된 연구에 따르면, UE5 환경에서 3DGS를 적용했을 때 기존 포인트 클라우드 기반 방식에 비해 표면 재현 정확도와 시각적 완성도가 크게 향상되는 것이 실험적으로 확인되었다.
SBS의 워크플로 취재 현장 LiDAR 스캔 → 파일 전송 → 가우시안 스플래팅 3D 객체 생성 → UE5 편집 및 XR 구현의 4단계로 진행된다. 예를 들어 서울시청 광장을 LiDAR로 스캔하면 당일 방송에서 앵커가 해당 공간의 디지털 트윈 위에 서 있는 듯한 영상을 생방송으로 송출할 수 있다. AI-XR 스튜디오 첫 방송 당일, 6·3 지방선거 특집 XR아이템에서는 선거 격전지 다섯 곳을 3DGS로 재현하여 앵커가 실제 현장에 있는 것 같은 입체적 보도를 선보였다. 이는 기존의 수작업 3D 모델링 방식으로는 생방송 적용이 사실상 불가능했던 수준의 리얼리즘을 AI를 통해 단시간 내에 자동으로 구현해낸 것이다.
맺음말: ‘AI First’, 미래 뉴스의 기준을 세우다
SBS AI-XR 뉴스 스튜디오는 세 가지 AI 기술, 즉 DLSS 기반 실시간 고화질 렌더링, 마커리스 AI 모션 트래킹, 3DGS 기반 실사 합성이 유기적으로 결합된 방송기술의 집약체다. 각각의 기술은 독자적으로도 의미 있지만, 이 세 요소가 동시에 동작하는 생방송 뉴스 환경은 국내외를 통틀어 전례 없는 시도다.
방송기술의 관점에서 이 시스템이 갖는 의의는 단순히 ‘화려한 배경’을 넘어선다. 복잡한 데이터, 지리 정보, 재난 현장 등을 직관적으로 시각화하는 저널리즘적 표현력의 확장이자, AI 기술이 방송 제작 워크플로 전반을 바꾸는 시대가 본격화되었음을 알리는 신호탄이다. 앞으로 3DGS 기술의 스캔-투-방송 시간 단축, 실시간 3DGS 업데이트, AI 모션 데이터의 AR 인터랙션 확장 등이 과제로 남아 있으며, 이 분야에 대한 방송기술인들의 지속적인 관심과 연구가 필요하다.
