[방송기술저널=김광성 CBS 디지털플랫폼부 AI테크팀 기술감독] 전시장을 둘러보면서 Andrew Ng의 유명한 말을 떠올렸다. “AI is the new electricity.” 100여 년 전 전기가 거의 모든 산업을 바꿨듯, AI 역시 분야를 가리지 않고 거의 모든 산업에 영향을 미칠 것이라는 의미다. IBC 2026에서 내가 가장 자주 접한 키워드 역시 AI였다. 방송・미디어 산업에서도 AI는 이제 신기술이 아니라 전기 같은 범용 기술이 되어가고 있다는 인상을 받았다. 특히 Future Tech 구역의 여러 부스에서는 음성인식(ASR), 번역, 자막 생성, AI 더빙을 결합한 서비스를 많이 접할 수 있었고, 대형 기술기업의 부스와 주요 세션에서는 ‘Agentic AI’라는 표현이 반복적으로 등장했다.
Future Tech에서 본 Speech AI와 Agentic AI
Future Tech 구역에는 Microsoft와 같은 빅테크 기업, 중소 규모의 다양한 기술기업과 스타트업, NHK와 같은 방송사, 연구기관의 부스가 함께 자리하고 있었다. 구역 내부의 Future Tech Stage에서는 기술 소개나 패널 토론 형식의 세션도 계속 진행됐다. 한편 부스에서 다루는 기술의 다양성 면에서는 조금 아쉬운 느낌도 들었다. 중소 규모 기업 부스에서는 ASR(Automatic Speech Recognition), MT(Machine Translation), TTS(Text-to-Speech Synthesis) 등 주요 AI 기술 분야를 활용해 여러 언어의 자막을 자동으로 제작하거나, 더빙 음성을 만드는 등 음성 분야 AI 기술들이, 대형 기업 부스에서는 Agentic AI가 주류를 이뤘다.
Panjaya, ingopal.ai, Video.Taxi 등 열 곳은 되어 보이는 중소 규모 업체가 실시간 음성인식과 번역, 자막, 더빙 서비스를 내보이고 있었다. 각 업체마다 지원 언어, 지연시간, 방송 시스템 연동 등을 차별점으로 내세웠지만, 기술의 조합은 상당히 비슷했다.
빅테크 기업의 기술에 의존하지 않고 직접 개발한 기술을 가져왔다는 점은 인상적이었다. Video.Taxi 부스에서는 담당자에게 어떤 ASR 모델을 사용하는지 직접 물어봤다. Whisper와 같은 공개 모델을 활용하는 것인지 궁금했는데, 담당자는 자체적으로 학습한 음성인식 시스템을 사용한다고 설명했다. 다만 기반 아키텍처나 구체적인 학습 방식까지는 확인하지 못했다.
이러한 서비스들을 보면서 음성 AI가 빠르게 제품화되고 있다는 것을 느낄 수 있었다. 실시간 자막과 번역, 더빙은 해외 콘텐츠 유통, 콘텐츠 접근성 측면에서도 활용도가 높은 기술이다. 다만 여러 업체가 유사한 문제를 비슷한 방식으로 해결하고 있어, 시장의 관심이 몇몇 응용 분야에 집중되어 있다는 느낌도 받았다.
한편 대형 기업 부스나 발표 세션 등에서는 ‘Agentic AI’가 또 하나의 공통 키워드가 되었다. 내가 주로 시간을 보낸 Future Tech Stage에서도 ‘Agentic AI Orchestration’, ‘Agentic Media Environment’와 같은 표현이 여러 차례 등장했다. 콘텐츠 검색이나 메타데이터 처리, 라이브 제작 등 복수의 작업을 전문 에이전트와 도구가 나누어 수행하고 이를 하나의 워크플로로 연결하는 방식이었다.
NHK 부스에서 만난 수어 아바타
그런 가운데 Future Tech 구역의 NHK 부스가 눈에 들어왔다. 전시장에서는 방송사가 직접 운영하는 부스를 찾기 어려웠기 때문에 NHK라는 이름이 반갑기도 했다. 부스에서 홍보하고 있던 기술들 중 가장 인상 깊었던 것은 속보를 위한 수어 CG 생성 기술이었다.
속보는 가능한 한 빠르게 전달되어야 하지만, 수어를 사용하는 시청자에게 언제나 즉시 수어 통역을 제공하기는 어렵다. NHK는 속보 텍스트를 이용해 일본수어(JSL) CG를 빠르게 생성하는 방법을 연구하고 있었다. 전시장 곳곳에서 볼 수 있었던 AI가 주로 제작 효율이나 자동화에 초점을 맞추고 있었다면, 이 기술은 처음부터 ‘정보 접근성’에 초점을 두고 개발했다는 점이 인상적이었다.
기술의 메커니즘이 궁금했는데, 마침 같은 주제로 쓴 논문을 Technical Papers 컨퍼런스에서 발표한다는 것을 알았다. 발표장에 직접 찾아갔다. 현장에 도착해서야 Technical Papers 컨퍼런스가 일반 전시 입장권으로는 입장이 불가능한 유료 프로그램이라는 사실을 알았다. 행사 진행 요원에게 NHK 부스에서 해당 연구를 보고 관심이 생겨 찾아왔다고 설명하며 이 세션만이라도 들을 방법이 없는지 물어봤다. 다행히 진행 요원의 도움으로 임시 출입증을 받아 ‘Audio, Access Services and User Experience’ 세션의 논문 발표를 들을 수 있었다.
속보를 수어로 전달하기
첫 번째 논문은 NHK 부스에서 접한 속보용 수어 CG 생성 연구였다. 기존의 수동 템플릿 방식은 날씨와 같이 형식이 정해진 정보에는 적합하지만, 속보에는 적용하기 어렵다. 속보는 문장 구조가 매번 달라지고 새로운 고유명사도 계속 등장하기 때문이다. Murakami 등이 제안한 시스템은 일본어 속보 문장을 수어의 gloss sequence로 변환한 뒤, 여기에 Spatial Placement, Mouthing, Facial Expression 등의 정보를 추가하여 아바타 동작을 생성한다. 단어 변환 수준에 그치는 것이 아니라 수어 표현에 필요한 공간적 위치, 입 모양, 얼굴 표정까지 함께 다루는 것이다.
특히 흥미로웠던 것은 시스템이 완전 자동화를 일차적 목표로 하지 않는다는 점이었다. AI가 만든 번역과 아바타 동작을 사람이 수정하고 미리 확인한 뒤 최종 결과물을 만드는 Human-in-the-Loop(HITL) 구조를 채택하고 있었다.
HITL은 최근 AI 시스템에서 자동화의 효율성과 인간의 판단·감독 가능성을 함께 확보하기 위한 방법으로 자주 논의되는 개념이다. 정확성이 중요한 방송용 수어에서는 현실적인 접근으로 보였다. 발표에서 예로 든 스포츠 속보 사례에서도, 15초 이내의 영상을 30분 안에 제작하는 것을 목표로 하면서, 번역 오류나 동작의 자연스러움은 사람이 최종적으로 수정하도록 했다.
전시장에서 접한 많은 ‘Agentic AI’가 AI의 역할과 자동화 범위를 계속 확장하는 방향이었다면, 이 연구는 ‘어디까지 자동화하고, 어디에서 사람이 개입해야 하는지’를 구체적으로 설계하고 있었다. 무엇보다 목적이 명확하다는 점이 좋았다. 전시장에는, 과장을 보태자면 AI를 활용했다는 사실 자체가 기술의 특징처럼 제시된, 그래서 마케팅에서 ‘AI 기술 적용’이라는 말을 활용하는 게 목표인 것 같은 사례들도 있었기 때문이다. Murakami 등의 연구는 수어 사용자가 속보에 더 빠르게 접근할 수 있도록 하는 것을 목표로 출발했고, AI는 그 수단에 불과했다.
TV와 자연어로 대화하기
같은 세션의 두 번째 발표에서는 3Cat의 Rafael Bermúdez가 자연어를 이용해 TV와 상호작용하는 시스템을 소개했다. 사용자의 질문을 처리하는 TV Assistant Agent와 방송 메타데이터를 전문적으로 조회하는 DVB-I Agent를 분리하고, 각 에이전트가 역할을 나누도록 구성했다. 사용자가 현재 방송 프로그램에 대해 질문하면 TV Assistant Agent가 요청을 이해하고, DVB-I Agent가 필요한 방송 정보를 찾아 결과를 반환하는 방식이다. Future Tech 구역에서 반복적으로 들었던 키워드인 ‘Agentic AI’의 구현례를 자세히 확인할 수 있어 유익한 발표였다.
음색도 개인화하는 시대
세 번째 발표는 final의 Kimio Hamasaki가 발표한 이어폰 음색 개인화 연구였다. 음향과 청각에 관심이 있어 특히 흥미롭게 들었다. 발표의 문제의식은 간단했다. “같은 음원을 같은 이어폰으로 듣는다고 해서 모든 사람이 같은 소리를 경험하는 것은 아니다.”
HRTF(Head-Related Transfer Function)는 소리가 사람의 머리와 귓바퀴 등을 거쳐 청각기관에 전달되는 동안 어떻게 변형되는지를 나타낸 개념이다. 사람마다 머리와 외이의 모양이 다르기 때문에 HRTF는 사람마다 달라진다. 발표에서 제시된 측정 결과를 보니, 고주파 영역에서는 청취자 사이에서 20dB 이상의 차이도 나타났다. 하나의 이어폰 타깃 커브가 모든 청취자에게 동일하게 자연스러운 소리를 제공하기 어렵다는 것이다. Hamasaki 등은 이 문제를 해결하기 위해 PTTC(Personalized-Timbre Target Curve)를 제안했다. HRTF에서 방향성과 음색에 관련된 요소를 분리하고, 개인별 특성에 맞는 음색을 이어폰에서 재현하는 방식이다. 청취 평가에서는 음질과 선호도뿐 아니라 공간감과 관련된 평가에서도 개선이 나타났다.
더 많은 사람에게 닿는 기술
서두에서 언급했듯 AI는 이제 특정 분야의 신기술이라기보다 거의 모든 산업에 영향을 미치는 범용기술이 되어가고 있다. 방송에서도 이제 중요한 질문은 단순히 ‘AI를 사용할 것인가’가 아니라 ‘어떤 문제를 해결하기 위해, 어디까지 사용할 것인가’에 가까워 보인다.
이번 IBC에서 기억에 남은 것은 자동화율이나 제작 효율을 높이는 기술보다, 기술을 통해 누가 더 많은 정보와 경험에 접근할 수 있는지를 고민한 사례들이었다. 속보를 수어로 전달하고, 사람마다 다른 청각 특성을 고려하고, 언어의 장벽을 낮추는 일 역시 AI가 방송에 가져올 수 있는 변화다. 결국 기술의 가치는 기술 자체보다 그것을 경험하는 사람에게서 확인될 것이다.
