[방송기술저널=최효섭 KBS TV기술국 음향감독] 2017년 5월 31일 ATSC 3.0 표준 방식으로 UHD 방송 송출을 시작했지만, 4K 영상에 비해 음향은 기존 HD 방식에서 벗어나지 못하고 있다. 이러한 흐름에서 시청자에게 큰 화면에 좀 더 몰입할 수 있는 오디오를 제공하거나 다채널 서비스를 선택할 수 있게 하는 것으로 차별화하는 것이 시급한 과제로 남아있다. 이런 변화가 요구되는 환경에서 오디오 표준 Codec으로 선정된 ‘MPEG-H Audio’에 대한 심화한 기술적 이해가 필요했고, 현지 연수를 통해 ‘Immersive Sound’, ‘Interactive Audio’를 직접 체험하면서 우리 제작 환경에 맞는 시스템 구성에 많은 관심을 가지고 조언을 얻고자 했다.
이번 연수를 진행했던 독일 ‘에를랑겐‘에 위치한 ‘Fraunhofer IIS’사의 오디오 및 미디어 기술 사업부는 25년 이상 음향 및 영상 코딩과 신호 처리 분야의 연구를 진행해 온 기관으로, 주된 연구 분야는 Codec, Metadata, Interactive Service로 요약할 수 있다. 특히 ‘MP3’개발과 ‘AAC’ Codec의 공동 개발을 통해 세계적으로 그 기술력을 인정받은 연구 기관이며, MPEG-H Audio의 원천기술을 가지고 있어 이와 관련한 모든 장비의 위탁 연구를 활발하게 진행하고 있었다. 실제로 교육 기간에 Metadata를 제작하는 Authoring Tool, Post 제작 단계에서 쓰이는 DAW Plug-In Tool, Live 제작 AMAU(Audio Monitoring & Authoring Unit) Tool 등등 각종 장비 시연에 많은 시간을 할애한 것을 보면 MPEG-H와 관련한 제작사가 위탁하는 연구 대부분이 얼마나 이곳을 중심으로 이뤄지는지를 짐작할 수 있었다.
교육 대부분이 여러 Layer별로 56개의 스피커를 설치한 공간(모차르트룸. 제작 시설마다 유명한 음악가의 이름을 붙였다고 한다.)에서 진행했는데 7.1+4H는 물론이고 22.2채널로 제작된 오디오와 HOA(High Order Ambisonic)까지 청음할 수 있었다. 앞으로 이렇게 다양한 입체음향을 들어 볼 기회가 있을까 하는 아쉬움과 함께, 정확한 측정으로 계산한 거리와 각도에 따라 설치한 트러스와 바닥에 그려진 각도 표시를 보고 독일인의 정교한 모습을 느낄 수 있었다.
5일간의 연수를 통해 ‘Metadata’의 개념, ‘Objected Audio’, ‘Ambisonic’ 등에 대한 많은 궁금증을 해소하기도 했지만, 그만큼 ‘믹싱엔지니어’로서 다가올 입체음향 제작에 대한 많은 기대를 갖는 계기가 됐다. AMAU를 통한 스포츠 생중계 제작 시연에서 객석 Ambience와 진행 해설 멘트 간의 Level Balance를 무너뜨리지 않게 Object별 Loudness를 유지하는 것도 관심이 있었지만, 현장에서 PA되는 진행자의 멘트나 응원 음악 등의 Object를 Height 채널의 Center에 위치시켜 마치 다른 멀티채널 구성의 Top Center로 구별되는 ‘Voice Of God 채널’로 인식하게 하는 방법이 흥미로웠다. 또한, Post 제작 단계에서 보여줬던 여러 DAW Tool의 다양한 운용에 따른 출력을 접할 기회가 많았는데, 공개방송 음악 프로그램(유희열의 스케치북)의 국내 유일 5.1채널 서라운드 오디오 제작에 임하고 있는 지금 업무 환경에 많은 도움이 될 것 같았다.
지금까지 많은 유럽 국가에서 MPEG-H Audio 제작 및 송출 테스트를 시도하고 있으며 올해에도 Fraunhofer와 연계하에 다양한 Trial이 이뤄졌다. 장르별로 여러 제작 사례를 소개받았지만 음악방송인 ‘Eurovision Song Contest’의 제작 과정 시연이 제일 인상적이어서 소개하고자 한다.
해마다 개최돼 올해 63회로 이어졌던 ‘Eurovision Song Contest’(ESC)는 유럽에서 가장 큰 규모의 제작비가 들어가는 최고의 Live 음악방송으로써, 전년도 대회 우승을 차지한 포르투갈의 수도 리스본에서 지난 5월에 개최됐다. 대회의 전반적 진행과 방송 제작을 담당하는 주관방송사는 RTP(Rádio e Televisão de Portugal)가 맡았으며 여러 제작사가 새로운 장비를 테스트하기 위해 제작 스태프로 참여했고, 그중 Fraunhofer가 ‘MPEG-H Audio’ 포맷으로 ‘5.1+4H’ 채널의 입체음향과 여러 나라의 언어를 선택할 수 있는 ‘Objected Audio’ 제작을 담당했다. 실제 방송을 송출하는 계통이 아닌 별도의 Booth에서 제작이 이뤄졌으며, Main OB VAN으로부터 제공받는 여러 Stem 신호와 26채널의 객석 구역별 Ambience 마이크 신호, Object의 Source가 되는 37개 국가별 언어 신호, 그리고 Height Ambience를 위한 Ceiling 마이크 4채널의 입력으로 구성됐다. 실시간 Authoring 과정을 통해 언어별로 선택할 수 있는 ‘Switch Group’을 구성했고 Vocal, Music, Ambience 등을 개별 조절하면서 시청할 수 있는, 다양한 ‘Advanced menu’와 ‘Preset’으로 이뤄진 Audio Scene을 테스트했다. 그리고 5.1+4H Bed 채널의 Mixing을 위해 구역별 Ambience 신호를 Middle과 Upper Layer에 적절히 Panning시켰고, 바닥으로부터 25m 높이로 설치돼 함께 구성된 ‘Hamasaki Square’ 형식의 4H 오디오 신호가 ‘Immersive Audio’ 제작의 핵심이었다. 직접적 객석 함성이나 PA Return 신호를 조절하는 용도가 아닌, 공연장 위에 자연스럽게 형성되는 잔향 성분을 4H 채널로 Mixing함으로써 표현되는 3D 입체음향을 직접 경험해보니 Layer별로 다양한 Ambience를 구성하는 것이 중요한 요소인 것을 알게 됐다.
ESC 경쟁 프로그램 특성상 음악 제작자의 의견을 대부분 반영했었던 생방송 환경과는 달리, 제약이 없는 후반 작업을 통한 결과물을 청취하면서 그들이 시도했던 입체음향의 이미지 설계에 대한 많은 이야기를 들을 수 있었다. 중심이 되는 이미지를 크게 나타내기 위해 Upper Layer의 L, R 채널을 효과적으로 이용하는 구성이라든지, 전체적인 Mixing 채널 구성에 있어서 음악 부분과 Ambience 부분을 많이 중첩되지 않게 분배를 한 부분이 인상적으로 들렸다.
또한 대부분의 오디오 Source가 사전에 제작한 MR, 소개 VCR, 여러 Sound Effect 효과음 등 Stereo 제작물이었기 때문에 ‘Up-Mix Tool’을 적극적으로 사용해 다채널의 입체음향으로 제작하는 기법에 주목했다. 특히 음악 제작에 있어서는 Stereo Stem으로 구성하는 것이 보편적이기 때문에 성능 좋은 ‘Up-Mix Tool’이 필요한 것은 당연한 일이었고, 음악 프로그램을 많이 제작하는 본인 역시 많은 관심을 가지게 됐다. 현재 7.1+4H까지 지원되는 Tool 중에 Plug-In 타입의 ‘Nugen Halo’와 Outboard 방식의 ‘Illusonic IAP16’에 대해 비교 체험을 할 수 있었는데, 출력되는 Up-mix 제작물의 전체적 레벨이나 음색의 조절뿐만 아니라, Vocal, 기타, 악기 source 등의 ‘Direct Source’와 별도로 Ambience나 Reverb 같은 ‘Diffuse Source’ 등을 따로 조정할 수 있어 Phase alternation이 이뤄지는 것이 흥미로웠다. ‘Halo’에서는 Center와 Upper Channel 출력의 Up/Down이 가능하며, Stereo Source를 Up-mix한 다음 다시 Down-mix했을 때 비슷한 Stereo 이미지가 재생되는 편이었다. 반대로 ‘Illusonic’은 Immersion의 느낌이 충분해 좀 더 많은 잔향을 느낄 수 있었다. 입체음향 제작에 있어서도 역시 Down-mix 품질과 Immersive 표현과의 역관계가 약간 존재하는 것 같았다.
5.1 서라운드 오디오 제작 시에도 원래 신호와 다르게 나가는 Down-mix 품질에 대한 제작자들의 불만 사항 때문에, Up-Mix Tool을 과감히 ‘Surround’ Mode로 펼치기보다는 ‘Stereo preserve’ Mode로 쓰고 있는 제한적 분위기를 이들도 같이 느끼고 있어서인지 이 부분에 대한 Tool의 적용 방법을 많이 알려주었다. 2D Mix Source를 3D Layer로 확장해 제작할 수 있는 ’Up-mix‘ Tool의 등장은 반가운 일이다. Up-mix 후 다시 Down-mix했을 때 결과물과 원래 신호를 비교하면서 관련된 항목을 조절할 수 있는 메뉴에 대해 많은 경험을 축적해 최적의 절충점을 찾아야 할 것이다.
‘MPEG-H Audio‘의 완벽한 이해를 위해서는 기존의 기준을 버려야 한다는 인식을 많이 가지게 됐다. 시스템의 핵심이 ‘Metadata’이기에 여기에 대한 집중이 중요하다는 것 또한 깨닫게 됐다. 외국에서는 이미 오래전부터 제작부터 송출까지 ‘Metadata’를 이용했었고 제작 단계와 동일한 오디오 품질을 보장하며 시청자에게 그대로 전달할 수 있었다. 우리의 기존 HD 방송에서도 ‘Metadata’를 이용한 제작 및 송출이 가능했으나, 방송 사고의 위험성을 고려해 무리라고 판단했던 과거 첫 단계에서 모험정신을 발휘했더라면 신기술을 받아들이는 데 거리낌이 없었을 것이다. 지금이라도 생각의 전환을 빨리 이뤄내야 할 것이며 현재의 제작 환경과 자연스럽게 연계해 적용할 수 있는 시스템의 구상이 시급하다.
우리나라 방송 시장의 ‘MPEG-H Audio’ 제작에 여러 나라가 많은 기대를 하고 있었으며, 관련 제작사가 Open Mind로 피드백을 원하고 있었다. 수많은 시행착오를 거쳐 가는 치밀한 준비 과정 중에 많은 정보를 교류해야 할 필요성을 느꼈으며, 시스템의 완성도를 위한 노력과 더불어 멀티채널 프로그램의 제작 기술력 배양을 위해 많은 준비를 꾸준히 해나가야 할 것이다. 과거 테스트 삼아 짧은 길이의 입체음향을 제작했던 경험에 이어 이번 교육을 밑거름 삼아 5.1.4 채널, 그리고 7.1.4 채널 프로그램 제작에 이미지를 구성할 큰 기회가 됐으며, 그만큼 콘텐츠의 완성도에 숙련이 필요하다는 것을 깨닫게 됐다.
평소 한자리에서 만나기 힘든 각 방송국 오디오 핵심부서의 인력들이 모여, 비슷한 업무 환경에서의 자기 고유 업무에 관련한 정보도 공유하고 최신 기술 경향이나 노하우 등에 관한 의견을 주저 없이 교환했던 자유로운 연수생 간의 분위기가 너무 좋았다. 앞으로도 이런 자리를 많이 가졌으면 하는 아쉬움이 많이 남았던 연수였다. 부족한 이해력에도 많은 배려를 해주었던 Fraunhofer 직원들과의 소중한 기억이 짧고 아쉬운 경험이었지만, 앞으로 Fraunhofer IIS사와 상호 기술 교류를 통해 더욱 심화한 멀티채널 입체음향 오디오 제작 기술력을 이어가도록 해야 할 것이다.
