|
엔비디아는 24일(현지시간) 북미 최대 반도체 학술행사 ‘핫칩스(Hot Chips) 2026’에서 베라 루빈 기반의 차세대 AI 팩토리 생태계 구축과 그록 3 LPX 양산을 포함한 신기술 라인업을 발표했다. 베라 루빈은 72개의 루빈 GPU, 36개의 베라 CPU, 커넥트X-9 슈퍼NIC, 블루필드-4 DPU를 6세대 NV링크 인터커넥트 기술로 묶어 단일 AI 시스템으로 작동하게 만든 플랫폼이다.
이번 실측 데이터는 단순 채팅 요청이 아닌 실제 코딩 세션을 재현한 세미애널리시스의 에이전틱 벤치마크 ‘에이전트X(AgentX)’를 활용해 컨텍스트 누적, 툴 호출, 하위 에이전트 생성 등 실제 AI 워크플로우를 그대로 반영했다. 베라 루빈은 딥시크 V4 프로(DeepSeek V4 Pro) 등 주요 모델에서 블랙웰 대비 메가와트(MW)당 처리량을 최대 30배 높였다. 전력 제약이 있는 AI 팩토리에서 동일 전력으로 30배 더 많은 작업을 처리할 수 있게 된 셈이다.
|
전작인 블랙웰 역시 압도적인 성능 우위를 증명했다. 2.8조(T) 파라미터 규모의 초거대 AI 모델 ‘키미 K3(Kimi K3)’ 실행 시 블랙웰은 이전 세대(H200) 대비 메가와트당 처리량을 무려 80배나 높였으며, 100만 토큰당 비용을 10분의 1 수준으로 인하했다. 100만 토큰당 운영 비용을 블랙웰 대비 최대 35배 낮춘 베라 루빈까지 더해지면서, 일반 채팅 대비 15배 이상 토큰을 소비하는 에이전틱 AI의 대규모 지속 운영 기반이 완성됐다는 평가다.
여기에 하드웨어와 소프트웨어 전반의 극한 공동 설계를 적용해 최적의 효율을 구현했다. 컨텍스트 처리(프리필)와 응답 생성(디코드)을 분리해 독립적으로 확장하는 ‘분리형 서빙’과 두 과정 간 토큰 생성 속도를 맞추는 ‘레이트 매칭’ 기술이 대표적이다. 세션 인식형 서빙을 지원하는 ‘엔비디아 다이나모(Dynamo)’와 전문가 혼합(MoE) 모델의 서브네트워크를 GPU 전반에 분산하는 ‘대규모 전문가 병렬화’를 구현했다.
아울러 메모리를 확장해 처리된 컨텍스트를 재연산 없이 활용하는 ‘분산 KV 캐싱’ 및 ‘KV 캐시 오프로딩’을 적용했다. 캐시 컨텍스트를 보유한 GPU로 요청을 전달해 중복 연산을 줄이는 ‘KV 인식 라우팅’과 연산 및 통신을 하나의 단계로 결합해 데이터 대기 시간을 단축하는 ‘메가MoE’ 융합 쿠다 커널 기술도 대거 탑재했다.
|
베라 루빈 플랫폼의 인터랙티브 AI 추론 가속기 ‘그록 3 LPX’도 본격 양산 단계에 들어갔다. 수백에서 수천 단계에 이르는 복잡한 연산을 반복하며 방대한 양의 토큰을 생성하는 에이전틱 시스템의 초고속 토큰 생성을 지원한다. 랙 스케일 구성에서 직접적인 칩 간 연결을 통해 최대 256개의 LP30 가속기를 결합해 거대한 단일 프로세서처럼 작동하도록 설계됐다.
오픈소스 모델 ‘젬마 4 31B’ 대상 10만 토큰 컨텍스트 벤치마크(Artificial Analysis)에서 초당 3,400개의 출력 토큰을 달성해 해당 모델 기준 역대 최고 속도를 기록했다. 이는 유사 플랫폼 대비 4배 빠른 응답 속도로, 파일 검토나 코드 작성 및 테스트, 도구 호출 등의 작업을 수 분 만에 완수하게 해준다. 네비우스(Nebius)가 생산용 추론 플랫폼 ‘네비우스 토큰 팩토리’에 이를 최초 도입하며, AI 추론 특화 클라우드 기업 그록(Groq) 역시 우선 도입을 확정했다.
스페이스XAI와의 대규모 협력도 성사됐다. 스페이스XAI는 차세대 에이전틱 AI 워크로드 처리를 위해 엔비디아가 전용 설계한 최초의 CPU인 ‘베라 CPU’를 도입한다. 베라 CPU는 88개의 올림푸스(Olympus) 코어와 스페이셜 멀티스레딩 기술, 고대역폭 LPDDR5X 메모리를 탑재해 최대 1.2TB/s 대역폭을 제공한다. 에이전틱 AI 및 강화학습 워크로드에서 기존 x86 CPU 대비 작업 완료 속도가 최대 1.8배 빠르며, 모델 호출 사이의 툴 오케스트레이션과 코드 실행을 가속해 GPU 활용도를 극대화한다.
|
스페이스XAI는 베라 루빈을 기반으로 자사 AI 모델 ‘그록(Grok)’을 지원하는 지상 인프라를 기가와트(GW)급 컴퓨팅 규모로 대대적으로 확장한다. 아울러 최적화된 베라 루빈 랙 스케일 시스템을 1세대 ‘스타마인드(Starmind)’ AI 위성에 적용해, 지상 AI 팩토리 아키텍처를 전력 및 열 관리 제약이 극심한 우주 궤도 컴퓨팅 영역까지 확장한다는 구상이다.
타사의 커스텀 실리콘(XPU·CPU)을 엔비디아의 AI 인프라 플랫폼에 결합할 수 있는 ‘엔비디아 NV링크 퓨전(NVLink Fusion)’도 첫 선을 보였다. 6세대 NV링크와 C2C 기술을 활용해 고객사가 자체 개발한 칩을 엔비디아의 랙 스케일 아키텍처, 전력, 냉각, 소프트웨어 생태제와 손쉽게 연결함으로써 하이퍼스케일러 맞춤형 AI 팩토리 구축을 지원한다.
초대규모 AI 팩토리를 받치는 차세대 네트워크 인프라 기술 2종도 함께 베일을 벗었다. ‘스펙트럼-X 멀티플레인’은 각 서버의 네트워크 연결을 여러 개의 독립적인 2계층 플레인으로 분할해, 기존 확장 시 발생하던 세 번째 네트워크 계층의 추가 비용, 지연 시간, 지터 문제 없이 최대 51만 2000개 GPU까지 단순한 평면 네트워크 확장을 지원한다. 커넥트X 슈퍼NIC 전용 하드웨어 엔진이 트래픽 경로를 재설정해 8개 플레인 중 1개에 장애가 발생해도 전체 대역폭의 약 90%를 유지하며, 기존 소프트웨어 방식 대비 11배 빠른 복구 속도로 AI 팩토리 생산량을 1.6배 끌어올린다. AI 클라우드 기업 코어위브(CoreWeave)가 이를 실제 운영 환경에 도입했다.
‘엔비디아 스케일인(Scale-In)’은 블루필드-4 프로세서와 DOCA 소프트웨어 플랫폼, 스펙트럼-X 이더넷을 결합해 기존 노스-사우스 액세스 네트워크를 가속 인프라 도메인으로 전환한다. 멀티테넌트 네트워킹, 고성능 스토리지 액세스, 실리콘 내장 보안, 탄력적 프로비저닝, 실시간 옵저버빌리티 등의 인프라 서비스를 호스트 컴퓨팅 리소스와 독립적으로 가속함으로써, 대규모 에이전틱 AI 구축과 운영에 필요한 안전하고 효율적인 공유 인프라 환경을 구축한다.
