알리바바 앤트그룹, AI 프레임워크 `디인퍼` 공개...엔비디아 제품보다 빠르다

알리바바(NYSE:BABA)의 핀테크 계열사 앤트그룹이 확산 언어 모델을 위한 추론 프레임워크 '디인퍼(dInfer)'를 오픈소스로 공개하고, 이 프레임워크가 엔비디아(NASDAQ:NVDA)의 제품보다 더 효율적이라고 주장했다.
마윈이 지원하는 이 핀테크 기업은 사우스차이나모닝포스트(SCMP)와의 인터뷰에서, ChatGPT와 같은 전통적인 자기회귀 모델과 달리 병렬로 출력을 생성하는 확산 모델용으로 설계된 디인퍼가 연산 비용을 줄이면서 AI 워크로드를 가속화할 수 있다고 밝혔다.
앤트그룹은 디인퍼가 UC버클리의 vLLM 엔진보다 최대 3배, 엔비디아의 Fast-dLLM보다 10배 더 빠르다고 발표했다.
자체 확산 모델 LLaDA-MoE에 대한 내부 테스트 결과, HumanEval 코드 생성 벤치마크에서 초당 평균 1,011개의 토큰을 생성했다. 이는 Fast-dLLM의 초당 91개 토큰, vLLM으로 최적화된 알리바바의 Qwen-2.5-3B 모델의 초당 294개 토큰과 비교된다.
SCMP에..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................