애플·엔비디아, `ReDrafter` 기술로 챗GPT급 LLM 성능 강화 나서

애플(NASDAQ:AAPL)과 엔비디아(NASDAQ:NVDA)가 대규모 언어 모델(LLM) 성능 향상을 위해 협력한다고 발표했다.
주요 내용
양사는 애플의 '리드래프터(ReDrafter)' 기술을 엔비디아의 'TensorRT-LLM'에 통합해 텍스트 생성 속도를 높이는 데 초점을 맞추고 있다.
애플이 올해 초 오픈소스로 공개한 리드래프터는 빔 서치와 동적 트리 어텐션을 결합해 LLM 성능을 개선하는 기술이다.
엔비디아와의 협력을 통해 리드래프터는 엔비디아 GPU에서 LLM을 가속화하도록 설계된 도구인 TensorRT-LLM에 통합됐다.
이번 통합에는 TensorRT-LLM이 복잡한 모델과 디코딩 방식을 더 잘 처리할 수 있도록 새로운 연산자를 추가하는 작업이 포함됐다.
벤치마킹 결과, 엔비디아 GPU에서 그리디 디코딩의 토큰 생성 속도가 2.7배 향상돼 지연 시간과 전력 소비가 크게 감소했다.
애플의 머신러닝 연구진은 이번 발전으로 계산 비용을 낮추고 프로덕션 애플리케이션의 지연 시간을 줄여 사..........................................................................................................................................................................................................................................................................................................................................................................................................................