[방송기술저널 백선하 기자] 한국전자통신연구원(ETRI)은 표정이나 시선, 악수까지 정밀하게 재현할 수 있는 ‘확장현실(XR) 환경 원격 실재감(Telepresence) 증강 기술’을 처음으로 일반에 선보였다고 7월 22일 밝혔다.
이번에 공개된 기술은 서로 다른 물리적 공간에 있는 두 사용자가 가상현실(VR)과 증강현실(AR) 환경 속에서 동시에 회의에 참여함으로써, 실제 회의실에서 마주 앉아 대화하는 것처럼 몰입감 있게 상호작용할 수 있도록 구현됐다. 현실 공간과 가상 공간을 연결하는 차세대 기술인 셈이다.
ETRI가 개발한 이번 원격 실재감 증강 기술은 △엑소스켈레톤 기반 능동형 가상 악수 기술 △실시간 디지털 휴먼 입체 실감화 기술 등 두 가지 핵심 요소로 구성된다.
먼저 엑소스켈레톤 기반 능동형 가상 악수 기술은 단순한 손의 움직임뿐만 아니라 악수할 때 상대방이 손을 쥐는 힘의 강도와 방향까지 실시간으로 느낄 수 있도록 설계된 첨단 촉각 피드백 기술이다.
이를 위해 연구진은 외골격형 액티브 타입 XR 햅틱 글러브를 독자적으로 설계하고 개발했다. 이 햅틱 장갑은 기존의 단순 진동 수준을 넘어 실제 악수에 가까운 정밀한 촉각 경험을 제공한다. 덕분에 상대방이 손을 꽉 쥐는 감각까지 실시간으로 전달할 수 있어 원격 환경에서도 상대방과 손을 맞잡는 듯한 몰입형 상호작용이 가능해졌다는 평가다.
두 번째 기술인 실시간 디지털 휴먼 입체 실감화 기술은 양안 영상 기반의 헤드마운티드 디스플레이(HMD) 환경에서 생성형 AI를 활용해 디지털 휴먼의 입체감과 자연스러운 표정 표현을 실시간으로 향상시키는 기술이다. 이를 통해 원격 회의 환경에서도 실제 인물에 가까운 자연스러운 얼굴 표현이 가능해졌다.
이번 시연 시스템은 헤드마운티드디스플레이(HMD)와 센서를 통해 사용자의 손, 발, 시선, 표정, 입 모양, 목소리 등 다양한 비언어적 신호를 디지털 아바타에 자연스럽게 반영했다. 특히, AI 기반의 3D 배경 생성 기술인 ‘3DGS(3D Gaussian Splatting)’도 함께 적용돼 보다 사실적인 공간감과 몰입감을 구현해냈다.
정성욱 ETRI 콘텐츠융합연구실 책임연구원은 “이번 기술은 원격 협업의 개념을 단순한 영상통화를 넘어 ‘실감형 상호작용’의 시대로 전환하는 중요한 계기가 될 것”이라며 “향후 교육, 산업, 의료 등 다양한 분야에서 국민이 직접 체감할 수 있는 미래 협업 솔루션으로 발전시켜 나가겠다”고 말했다.
