엔비디아뿐 아니라 중국 화웨이의 AI 칩도 지원해 하드웨어 선택지를 넓혔다. 실제 비용 절감 효과는 추가 검증이 필요하다.
|
|
연산·데이터 전송 최적화해 추론 효율 높여
추론 프레임워크는 AI 모델이 입력을 받아 답변을 생성하는 과정을 관리하는 소프트웨어다. 같은 모델이라도 연산과 자원 배분 방식에 따라 응답 속도와 처리량이 달라진다. 딥인퍼는 연산과 GPU 간 데이터 전송을 최적화하고, 여러 GPU에 작업을 분산해 실행 효율을 높이는 데 초점을 맞췄다.
구체적으로 입력 문맥을 처리하는 ‘프리필(Prefill)’과 답변 토큰을 생성하는 ‘디코딩(Decode)’ 과정의 효율을 높인다. 답변 초안을 만든 뒤 본 모델이 검증하는 ‘추측 디코딩(Speculative Decoding)’ 기술도 적용했다. 초안의 일부를 검증해 활용하면 생성 속도를 높일 수 있지만, 효과는 모델과 요청 규모 등 실행 조건에 따라 달라진다.
딥시크는 자체 성능 측정 결과도 공개했다. 입력 문맥을 처리하는 프리필 테스트에는 엔비디아 SM100 GPU 4개, 답변 생성 성능을 측정하는 디코딩 테스트에는 GPU 64개를 사용했다. 두 테스트는 서로 다른 하드웨어 구성에서 진행됐다.
공개된 벤치마크에 따르면 디코딩 테스트에서 GPU당 동시 요청이 256개인 조건으로 초당 2만5000개 이상의 출력 토큰을 처리했다. 딥시크는 단일 클러스터가 하루에 155조개의 토큰을 처리할 수 있다고도 밝혔다. 다만 이는 자체 측정 결과로, 다른 추론 프레임워크와 동일한 조건에서 비교한 독립적인 검증 결과는 아니다.
처리량과 응답 지연 시간 사이의 상충 관계도 나타났다. 한 번에 처리하는 데이터 묶음인 배치 크기를 4096에서 6만5536으로 16배 늘리자 GPU당 초당 처리량은 6만개에서 8만9000개로 약 48% 증가했다. 반면 지연 시간은 70밀리초(ms)에서 730ms로 10배 이상 길어졌다. 전체 처리 효율은 높아질 수 있지만, 개별 이용자가 답변을 기다리는 시간은 늘어날 수 있다는 의미다.
오프라인 추론 중심…실제 서비스엔 추가 개발 필요
실제 서비스에 적용하려면 추가 개발도 필요하다. 공식 문서에 따르면 현재 공개 버전은 오프라인 추론에 초점을 맞췄다. 앞서 처리한 문맥의 계산 결과를 저장해 재활용하는 키·값 캐시(KV Cache), 입력 처리와 답변 생성을 분리해 운영하는 기능, 여러 실행 인스턴스에 요청을 분산하는 부하 분산 기능 등은 포함되지 않았다.
딥인퍼는 기존 오픈소스 추론 기술을 바탕으로 개발됐다. 딥시크는 대규모 언어모델 추론 엔진인 ‘vLLM’을 기반으로 삼았으며, ‘SGLang’과 엔비디아의 ‘TensorRT-LLM’에서도 아이디어를 얻었다고 밝혔다.
AI 시장에서는 모델 성능뿐 아니라 추론에 필요한 연산 자원과 전력, 운영 비용을 줄이는 능력도 중요해지고 있다. 딥시크는 모델에 이어 실행 소프트웨어까지 공개해 개발자와 기업의 활용 범위를 넓히려는 것으로 풀이된다. 실제 효율과 비용 절감 효과를 판단하려면 동일한 조건에서 다른 프레임워크와 비교한 검증이 필요하다.
