"AI 응답속도 10배 빠르게"…삼전·하닉 AI 추론 메모리 경쟁

[이데일리 최오현 기자] 인공지능(AI) 산업의 무게중심이 학습에서 추론으로 이동하면서 얼마나 더 많은 데이터를, 저전력으로, 빠르게 이동시키느냐가 차세대 핵심으로 떠오르고 있다. 삼성전자와 SK하이닉스는 각기 다른 차세대 메모리 방식으로 데이터 병목 해소에 나섰다.

김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무가 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋'에서 발표하고 있다. (사진=연합뉴스)

17일 업계에 따르면 삼성전자와 SK하이닉스는 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에 참석해 각 사의 차세대 AI 메모리 기술 전략에 대해 발표했다.

삼성전자는 ‘3차원(3D)’ 구조 혁신을 해법으로 제시했다. 이날 발표에 나선 김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 ‘AI 혁명을 이끄는 메모리·스토리지의 3차원 혁신’이라는 주제 아래 zHBM과 zNAND-O를 차기 핵심 전략으로 소개했다.

zHBM는 AI 가속기 상단에 고대역폭메모리(HBM)를 직접 얹는 구조다. zNAND-O는 여러 낸드를 수직으로 쌓아 실리콘 관통 전극(TSV)으로 연결한다. 기존 낸드보다 데이터를 빠르게 공급하면서 값비싼 디램 사용량을 줄이는 것이 핵심이다. 여기서 z는 3차원 공간의 Z축인 수직 방향을 의미한다. 즉 기존의 수평이었던 메모리의 구조적 배치를 적층으로 바꿔 데이터간 이동거리를 줄이고 전력 효율을 높인다는 전략이다.

김 상무는 “현재 대화형 AI 시스템의 응답속도는 이용자당 초당 100토큰 수준”이라며 “앞으로 에이전트형 AI를 위해 초당 1000토큰으로 10배 끌어올리는 양자 도약(퀀텀 점프)을 목표로 하고 있다”고 밝혔다. 삼성전자는 지난달 플래시 메모리 행사인 FMS 2026에서 이미 zHBM의 목업을 최초로 공개했다. 회사는 zHBM4가 차세대HBM5보다 최대 8배 성능과 3배 이상의 전력 효율을 구현한다고 설명했다.

임의철 SK하이닉스 솔루션AT 담당 부사장이 16일(현지시간) 미국 캘리포니아주 산타클라라에서 열린 'AI 인프라 서밋 2026'에서 'AI 인프라의 새로운 스펙트럼 PIM, HBF & More'을 주제로 연단에 올랐다. (사진=SK 하이닉스)

SK하이닉스는 연산 가능 메모리(PIM)와 고대역폭 플래시(HBF)를 전면에 내세웠다. PIM은 메모리 내부에 스스로 연산할 수 있는 기능을 탑재해 프로세서와 메모리 사이의 데이터 이동을 줄이는 기술이다. TSV 기술을 적용한 HBF는 HBM과 솔리드 스테이트 드라이브(SSD) 사이의 새로운 메모리 계층이다. HBM처럼 데이터를 빠르게 처리하면서도 디램보다 큰 대용량 특성을 더했다.

임의철 SK하이닉스 솔루션AT 담당 부사장은 이날 ‘AI 인프라의 새로운 스펙트럼 PIM, HBF & More’을 주제로 발표했다. 임 부사장은 “AI 워크로드가 다양해지면서 기존의 GPU-HBM 구조만으로는 새로운 요구사항을 충족하기 어려워지고 있다”며 “고대역폭과 대용량을 동시에 갖춰 장문 콘텍스트 워크로드의 효율을 개선하는 HBF와 프리미엄 서비스의 빠른 디코딩 워크로드에서 성능과 효율을 개선하는 PIM 기술은 기존 한계를 뛰어넘을 수 있는 훌륭한 대안”이라고 소개했다.

다만 3D 적층과 연산형 메모리를 향한 기술 경쟁은 어느 한쪽만의 전략은 아니다. 삼성전자는 지난달 열린 반도체 학술대회 ‘핫칩스’에서 세계 최초로 기기내장형 AI를 겨냥한 PIM을 발표했다. 2021년 PIM 기술을 HBM에 적용한 ‘HBM-PIM’을 개발 검증했으나, 이번 상용화 제품은 저전력 메모리인 LPDDR 기반으로 구현됐다. SK하이닉스 역시 3D 기술 방향으로 메모리와 컴퓨팅 칩의 경계를 줄이는 3D·이종집적 등을 제시하고 있다.

이번 서밋에선 삼성전자와 SK하이닉스의 HBM 주도권이 당분간 유지될 것이란 전망에 힘이 실리는 의견도 나왔다. 인텔과 오픈 AI 등이 컴퓨트익스프레스링크(CXL)에 부정적인 견해를 내놓으면서다.

두 회사가 메모리 반도체 혁신 도전을 지속하고 있는 가운데, 올해 2분기 전세계 반도체 매출 중 메모리 비중은 처음으로 54%까지 차지했다. 옴디아는 3분기 글로벌 반도체 매출이 5000억달러(약 673조원)로 사상 최대치에 달할 것으로 전망했다.