"메시·야말이 한국어 인터뷰를?"…입모양까지 따라 하는 'AI 통역'

[이데일리 한광범 기자] 2026 북중미 월드컵 4강전을 앞둔 지난 15일 새벽, 스포츠 전문 매체 DAZN의 공식 인스타그램 계정에 올라온 영상 하나가 국내 축구 팬들의 눈을 사로잡았다. 스페인의 신성 라민 야말의 사전 기자회견 영상이었는데, 야말이 유창한 한국어로 자연스럽게 말을 이어가고 있었다.

기계음이 아닌 실제 야말 특유의 목소리 톤과 말투가 그대로 살아있는 한국어였다. 무엇보다 놀라운 건 발음하는 단어와 문장에 맞춰 야말의 입모양까지 완벽한 한국어 발음 형태로 변형돼 움직인 점이다.

이 같은 현상은 북중미 월드컵 4강전을 전후해 진행된 다른 선수들과 감독들의 인터뷰에서도 동일하게 나타났다. 축구계의 ‘GOAT(역대 최고 선수)’로 불리는 아르헨티나의 리오넬 메시 역시 본인 특유의 음색을 간직한 채 한국어로 인터뷰를 진행했고, 입모양 역시 한국어 발음과 완벽히 일치했다.

DAZN 공식 인스타그램에 올라왔던 리오넬 메시, 라인 야말 인터뷰는 메타 AI 번역 기능을 도입돼 AI를 통한 한국어 립싱크를 직접 들을 수 있다. (사진=DAZN 인스타그램 갈무리)

이는 메타가 인스타그램과 페이스북 릴스를 통해 선보이고 있는 ‘메타 AI 번역(Meta AI Translations)’ 기술이다. 지난 15일 인스타그램 릴스 번역 기능에 한국어가 새롭게 추가되면서 현실화했다. 국내외 크리에이터들은 이제 한국어를 포함해 제작한 콘텐츠를 다국어로 변환하거나, 외국어 콘텐츠를 한국어로 신속하게 전환해 글로벌 이용자들과 소통할 수 있게 됐다.

기존 동영상 플랫폼들이 제공하던 AI 번역이나 통역 서비스는 자막 중심이거나 어색한 기계음으로 음성을 합성하는 수준에 머물렀다. 반면 메타 AI 번역은 화자의 고유한 음색과 억양을 학습해 복제(Voice Cloning)하는 것은 물론, 번역된 언어의 발음과 음절에 맞춰 입모양까지 실시간으로 변형하는 ‘립싱크’ 기술을 결합했다. 단순 번역을 넘어 원작자가 직접 해당 언어로 말하는 듯한 강력한 몰입감을 선사한다.

유사한 AI 더빙·립싱크 기술이 주로 유료 전문 프로그램 형태였던 것과 달리, 릴스 플랫폼 내에서 무료로 손쉽게 쓸 수 있다는 점도 커다란 강점이다.

실제 기술의 정교함은 이용자들이 AI 번역임을 인지하지 못할 정도다. 최근 한 일본인 인플루언서가 일본어로 촬영해 올린 한국 여행 영상의 경우, 이 기능이 적용되어 자연스러운 한국어 음성과 입모양으로 재생됐다. 해당 영상을 접한 국내 이용자들은 AI 기술임을 알아채지 못한 채 “한국어를 정말 잘 구사하시네요”, “한국인인 줄 알았다”라는 식의 댓글이 달리기도 했다. 이는 영상 콘텐츠 시장에서 언어 장벽이 완전히 허물어지고 있음을 시사한다.

메타는 지난 15일부터 인스타그램 릴스에서 메타 AI 번역(Meta AI Translations) 기능에 한국어를 추가 적용했다. (이미지=메타)

릴스 번역 기능은 생성형 AI인 ‘메타 AI’를 기반으로 구동된다. 페이스북과 인스타그램 릴스를 대상으로 지난해 8월 글로벌 출시된 이후 지원 언어를 지속 확대해 왔다. 그간 영어와 스페인어 등 일부 언어 중심으로 운용되어 오다 최근 한국어가 새롭게 추가되면서 국내 이용자들도 마침내 이 혁신적인 기능을 직접적으로 경험할 수 있게 됐다.

현재 한국어를 포함해 스페인어, 영어, 힌디어, 포르투갈어, 벵골어, 타밀어, 텔루구어, 마라티어, 칸나다어, 일본어, 프랑스어, 독일어, 이탈리아어 등 총 14개 언어를 지원하며, 한국어의 경우 국내에서는 인스타그램 릴스에 우선 적용된 상태다.

작동 방식도 직관적이다. 창작자는 릴스를 게시하기 전 ‘옵션 더 보기’ 내 ‘릴스 번역’ 설정에서 번역을 활성화하고 립싱크 사용 여부 및 희망 언어를 선택할 수 있다. ‘번역 승인’ 옵션을 켜두면 AI가 번역을 완료한 후 크리에이터에게 알림을 보내며, 최종 검토를 거쳐 번역본을 공유하거나 취소하는 제어가 가능하다. 시청자에게는 앱의 기본 설정 언어에 맞춰 번역 영상이 자동 재생된다. AI 생성물임을 직관적으로 인지할 수 있도록 영상에는 ‘메타 AI로 번역됨’이라는 표시가 함께 부착된다.

메타 측은 “더 많은 크리에이터가 언어의 제약 없이 전 세계 이용자들과 연결되고, 다양한 콘텐츠를 보다 쉽게 발견할 수 있도록 AI 기반 번역 기능을 지속적으로 확대해 나갈 예정”이라고 밝혔다.