AMD가 11조원에 인수한 ‘월드랩스’는 어떤 회사?…3차원 세계 이해하는 AI

[이데일리 김현아 기자] 미국 반도체업체 AMD가 82억달러(약 11조원)를 들여 인수하는 월드랩스(World Labs)는 ‘AI 대모’로 불리는 페이페이 리 스탠퍼드대 교수가 2024년 설립한 공간지능 스타트업이다. 현실 세계의 3차원 공간과 사물, 움직임을 이해하고 공간과 시간에 따른 변화를 예측·생성하는 AI 모델인 ‘월드모델(World Model)’을 개발한다.

28일(현지시간) AMD와 월드랩스는 82억달러 규모의 전액 주식 인수 계약을 체결했다고 밝혔다. 규제당국 승인을 거쳐 올해 말까지 인수를 마무리할 예정이다. 인수 후 리 교수는 AMD 수석부사장(EVP) 겸 수석과학자로 합류해 리사 수 최고경영자(CEO)에게 직접 보고한다.

업계에서는 AMD가 이번 인수를 통해 AI 반도체를 넘어 AI 모델과 소프트웨어, 시스템으로 사업 영역을 넓히려는 것으로 보고 있다.

월드랩스 공동 창립자 (사진=월드랩스)

사진을 넘어 ‘세상’을 이해하는 월드모델

챗GPT와 같은 거대언어모델(LLM)이 주로 텍스트를 통해 언어를 이해하고 생성한다면, 월드모델은 공간과 시간 속에서 물리적 세계가 어떻게 구성되고 변화하는지를 다룬다.

인테리어를 설계하거나 기계를 디자인하는 일, 로봇이 화재를 진압하거나 의료 현장을 보조하는 작업은 텍스트만으로 표현하기 어려운 입체적인 공간 이해가 필요하다.

월드랩스는 텍스트·이미지·영상 등을 활용해 3차원 공간을 생성하고 실제 공간을 복원하는 한편, 그 안에서 일어나는 변화까지 시뮬레이션하는 기술을 개발하고 있다. 실제 공간을 가상환경으로 옮겨 로봇이 다양한 상황을 미리 경험하도록 하는 것도 가능하다.

월드랩스 로고

‘마블’에서 ‘아틀라스’로

월드랩스는 지난해 텍스트나 이미지 프롬프트를 입력하면 정교한 3차원 세계를 생성하는 첫 모델 ‘마블(Marble)’을 공개하며 업계의 주목을 받았다.

이어 지난 9월 1일에는 차세대 월드모델 ‘아틀라스(Atlas)’를 선보였다. 월드랩스가 ‘옴니 월드모델’이라고 부르는 아틀라스는 텍스트·이미지·영상·3D를 하나의 공간적 맥락에서 통합 처리한다.

아틀라스는 3차원 공간을 생성하고 복원하는 데 그치지 않고 시간에 따른 변화까지 다루는 것이 특징이다. 사진 한 장에서 다른 시점의 장면을 만들어내거나 여러 사진으로 공간을 3차원으로 복원할 수 있고, 영상에서는 공간과 시간의 변화를 바탕으로 새로운 장면을 생성할 수 있다.

월드랩스는 아틀라스를 로봇 학습에도 활용할 계획이다. 실제 공간을 가상환경으로 옮긴 뒤 로봇이 다양한 상황을 미리 경험하고 행동을 계획하도록 학습시키는 방식이다.

네이버랩스가 만든 로봇을 위한 AI 도구 ‘더스터(DUSt3R)’. 더스터는 사진 몇 장만 넣으면 복잡한 과정 없이 2D 이미지를 단번에 3D로 복원해 내는 비전 AI 도구다. 네이버랩스 유럽이 자체 개발한 대규모 이미지 학습 모델 ‘크로코(CroCo)’를 기반으로 해, 막대한 연산 리소스와 복잡한 절차가 필요했던 기존 3D 복원 방식의 한계를 크게 낮췄다. 사진=네이버

네이버 ‘더스터’와 무엇이 다른가

국내에도 비슷한 방향의 기술이 있다. 네이버랩스 유럽이 개발한 ‘더스터(DUSt3R)’다.

더스터는 사진 한두 장만으로 실제 공간의 3차원 구조를 복원하는 비전 AI 모델이다. 별도의 라이다(LiDAR) 같은 장비 없이도 사진에서 공간의 깊이와 구조를 파악해 3D 정보로 바꾼다. 2024년 미국 증강현실 기업 나이언틱이 주최한 공간 정밀화 챌린지에서 1위를 차지하기도 했다.

두 기술의 차이는 다루는 범위다. 더스터가 ‘사진에서 3D 공간을 복원하는 기술’에 가깝다면, 아틀라스는 3D 공간의 생성과 복원에 더해 시간에 따른 변화까지 다루는 월드모델을 지향한다.

쉽게 말해 더스터가 사진을 보고 ‘이 공간이 어떻게 생겼는가’를 파악하는 데 초점이 있다면, 아틀라스는 ‘이 공간에서 다른 곳을 보면 무엇이 보이고, 시간이 지나면 어떻게 변하는가’까지 다루려는 것이다.

이미지넷에서 ‘월드모델’로

월드랩스의 기술적 배경에는 페이페이 리 교수의 오랜 컴퓨터 비전 연구가 자리 잡고 있다.

리 교수는 과거 1500만장 이상의 이미지 데이터베이스를 구축한 ‘이미지넷(ImageNet)’ 프로젝트를 이끌며 딥러닝과 컴퓨터 비전 발전에 큰 영향을 미쳤다. 그는 동물 지능이 언어보다 수억 년 앞서 ‘보고 움직이는 능력’에서 시작됐다는 점에 착안해, 평면적인 이미지 인식을 넘어 이미지가 존재하는 물리적 세계 자체를 AI가 이해하는 문제에 도전하고 있다.

월드랩스는 지난해 기업가치 10억달러 수준에서 2억3000만달러를 유치한 데 이어, 최근에는 기업가치 50억달러 규모의 투자 라운드를 논의하며 1년 만에 몸값을 다섯 배로 키웠다. 앤드리슨 호로위츠, NEA, 래디컬 벤처스를 비롯해 엔비디아의 벤처 투자 부문과 제프 딘 구글 수석과학자, 제프리 힌턴 교수 등이 초기 투자자로 이름을 올렸다.

AMD가 11조원을 베팅한 이유

AMD가 11조원을 들여 확보하려는 것은 단순한 3차원 콘텐츠 생성 기술이 아니라 피지컬 AI 시대에 필요한 월드모델 기술과 연구진이다.

월드모델이 발전하면 AI가 처리해야 할 데이터와 연산 방식도 달라질 수 있다. AMD는 월드랩스의 연구진과 기술을 확보해 차세대 공간지능 모델의 연산 수요에 대응하고, 이를 자사의 AI 가속기와 시스템 사업으로 연결하려는 것으로 풀이된다.

특히 엔비디아가 자체 월드모델 플랫폼 ‘코스모스(Cosmos)’를 앞세워 로보틱스와 피지컬 AI 생태계를 확대하고 있는 상황에서, 엔비디아가 초기 투자자로 참여했던 월드랩스를 AMD가 인수했다는 점도 눈길을 끈다.

이번 인수로 페이페이 리 교수는 AMD 수석부사장 겸 수석과학자로 합류한다. 월드랩스 연구진도 AMD에 합류해 월드모델 연구를 이어간다.

AMD가 11조원을 들여 확보하는 것은 3차원 콘텐츠 기술 하나가 아니다. 현실 세계로 확장되는 AI에 필요한 월드모델 기술과 핵심 인재를 함께 확보하는 것이다.