허드슨에이아이, 스튜디오급 더빙 ‘현지화 AI 에이전트’ 공개…QC 비용 90% 절감

[이데일리 윤정훈 기자]미디어 콘텐츠 특화 음성 인공지능(AI) 기업 허드슨에이아이가 복잡한 영상 콘텐츠의 더빙 제작부터 품질 검수(QC)까지 자동으로 처리하는 ‘현지화 AI 에이전트’를 공개했다고 26일 밝혔다.

(사진=허드슨에이아)

이번에 공개된 현지화 에이전트는 허드슨에이아이의 AI 더빙 플랫폼 ‘허드슨 스튜디오(Hudson Studio)’를 기반으로 구동된다. 영상 속 화자 분리부터 맥락 분석, 감정 연기, 품질 검수까지 더빙 전 과정을 스스로 수행하는 에이전트 시스템이다. 그동안 전문 제작 인력이 일일이 관여해야 했던 고난도 미디어 더빙 작업을 최소한의 수작업만으로 완성도 높게 처리할 수 있는 것이 핵심 특징이다.

기존 AI 더빙 기술은 여러 인물이 등장하거나 감정 표현이 복잡한 콘텐츠의 경우 전문 인력의 QC 및 수작업 보정에 크게 의존해 왔다. 번역의 자연스러움, 인물별 말투와 감정 연기의 적절성, 비언어적 표현 구현 여부를 사람이 일일이 점검하는 과정에서 제작 비용이 크게 늘고 일정이 지연되는 병목현상이 발생했다.

허드슨에이아이의 현지화 AI 에이전트는 최고 40명 이상의 화자를 식별하며, 출연자들의 말이 수시로 겹치는 예능 프로그램이나 다수의 인물이 나오는 드라마에서도 중첩 발화를 명확히 분리해 낸다. 단순 번호 부여(화자 1, 화자 2) 방식에서 벗어나 콘텐츠 흐름을 분석해 인물의 역할과 관계를 파악한 뒤 캐릭터별 이름과 식별 정보를 자동으로 부여한다.

아울러 허드슨에이아이는 전문 번역가의 검수·수정 데이터를 에이전트에 집중 학습시켜 품질 검수의 90% 이상을 자동화했다. 에이전트가 스스로 품질을 판단하고 사람의 확인이 필요한 구간만 추출해 냄으로써 검수자의 작업 분량을 기존의 10분의 1 수준으로 단축했다. 웃음, 한숨, 숨소리 등 비언어적 음성도 자연스럽게 변환해 대사와의 연결성을 강화했다.

글로벌 시장 진출도 본격화하고 있다. 허드슨에이아이는 이달 12일부터 15일까지 프랑스 칸에서 열린 세계 최대 방송영상 콘텐츠 마켓 ‘MIPCOM 2026’에서 해당 기술을 처음 선보인 이후, 글로벌 주요 미디어 기업들과 실제 콘텐츠를 활용한 기술 검증(PoC)을 진행 중이다. 이미 영어, 일본어, 중남미 스페인어, 브라질 포르투갈어, 아랍어, 프랑스어 등 주요 언어권의 더빙 품질 테스트를 마친 상태다.

회사 측은 방송사와 OTT 플랫폼이 보유한 방대한 콘텐츠 라이브러리를 경제적인 비용으로 해외 시장에 유통할 수 있도록 지원한다는 방침이다.

신현진 허드슨에이아이 대표는 “진정한 현지화 자동화는 음성 생성을 넘어 방송에 즉시 투입 가능한 수준의 결과물을 완성하는 것”이라며 “이번 에이전트를 통해 글로벌 미디어 기업들이 방대한 콘텐츠를 효율적으로 현지화하고 해외 시장에서 새로운 수익을 창출할 수 있도록 적극 지원하겠다”고 말했다.