LG유플러스, 옵트에이아이와 AI ‘토큰 최적화’ 나선다

[이데일리 김현아 기자] LG유플러스(032640)가 AI 모델 최적화 전문기업 옵트에이아이와 손잡고 AI 서비스 운영 효율을 높이는 기술 개발에 나선다.

AI 서비스가 늘면서 GPU와 전력 사용량도 빠르게 증가하고 있다. 같은 성능을 유지하면서 더 적은 자원으로 AI를 운영하는 것이 중요한 과제가 되고 있다.

이상엽 LG유플러스 CTO(왼쪽)와 이재호 옵트에이아이 대표가 토큰 최적화 기술 협력과 관련해 기념촬영을 하고 있다. 사진=LG유플러스

양사가 주목하는 기술은 ‘토큰 최적화’다.

토큰은 AI가 질문을 이해하고 답변을 만드는 과정에서 처리하는 데이터 단위다. 토큰 최적화는 AI 모델을 가볍게 만들거나 연산 방식을 개선해 같은 GPU로 더 많은 요청을 처리하도록 하는 기술이다.

LG유플러스는 실제 AI 서비스를 운영하며 기술을 검증하고 적용한다. 옵트에이아이는 AI 모델을 더 작고 빠르게 구동하는 기술 개발을 맡는다.

양사는 이를 통해 GPU와 전력 사용량을 줄이면서도 AI 응답 속도와 서비스 품질을 높인다는 계획이다.

앞서 양사는 온디바이스 AI에서도 협력했다. LG유플러스는 엑사원 기반 소형언어모델에 경량화 기술을 적용해 스마트폰의 AI 전용 반도체인 NPU에서 구동할 수 있도록 했다.

그 결과 기존 CPU 방식과 비슷한 성능을 유지하면서 전력 소모는 78%, 모델 크기는 82% 줄였다.

이번에는 협력 범위를 서버 GPU 환경으로 넓힌다. 대규모 AI 서비스를 운영할 때 같은 GPU로 더 많은 이용자의 요청을 처리할 수 있도록 AI 모델의 연산 과정을 효율화하는 기술을 공동 연구한다.

현재 관련 연구에서도 성과가 나왔다. 양사는 AI가 답변을 생성하는 과정을 실제 서비스 환경에 맞게 개선해 같은 GPU에서 처리할 수 있는 토큰량을 기존보다 최대 4배 높였다.

옵트에이아이는 2021년 11월 설립된 AI 최적화 스타트업으로, LG전자(066570) 출신 이재호 대표가 이끌고 있다. AI 모델을 NPU·GPU·CPU 등 하드웨어에 맞게 경량화·최적화하는 기술을 보유하고 있으며, LG전자·LG유플러스 등과 협력하고 있다. 온디바이스 AI 최적화 플랫폼 ‘옵트핸서’를 통해 스마트폰·자동차·로봇 등으로 사업을 확대하고 있다.

양사는 지난 1일 ‘효율적인 AI 기술 세미나’도 공동 개최했다. 퓨리오사AI, 베슬에이아이, 한국전자기술연구원(KETI), 한양대학교 등이 참석해 AI 모델 최적화와 AI 반도체, 실제 서비스 적용 사례 등을 공유했다.

LG유플러스는 앞으로 확보한 기술을 자사 AI 서비스와 대규모 AI 인프라에 단계적으로 적용할 계획이다.

이상엽 LG유플러스 CTO는 “AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리하느냐에 달려 있다”며 “다양한 파트너와 협력해 토큰 최적화 기술 연구를 확대하겠다”고 말했다.

이재호 옵트에이아이 대표는 “생성형 AI 시대에는 높은 성능만큼 운영 효율을 확보하는 것이 중요하다”며 “실제 서비스 환경에서 검증할 수 있는 AI 최적화 기술을 고도화하겠다”고 말했다.