알리바바 클라우드, 엔비디아 GPU 사용량 82% 절감하는 신기술 개발...트럼프의 대중 AI칩 제재 와중에 주목

알리바바 그룹(NYSE:BABA)이 에게이온(Aegaeon)이라는 새로운 컴퓨팅 풀링 시스템을 도입해 AI 모델 운영에 필요한 엔비디아(NASDAQ:NVDA) GPU 사용량을 82% 줄이는데 성공했다.
3개월간의 테스트 완료
이번 혁신 기술은 한국 서울에서 열린 제31회 운영체제 원리 심포지엄(SOSP)에서 발표된 연구 논문에 따르면, 알리바바 클라우드의 모델 마켓플레이스에서 3개월 이상 테스트를 거쳤다.
에게이온 시스템은 최대 720억 개의 파라미터를 가진 모델을 운영하는데 필요한 엔비디아 H20 GPU 수를 1,192개에서 213개로 대폭 줄이는데 성공했다.
연구진은 논문에서 "에게이온은 시장에서 동시 LLM 워크로드 운영에 따르는 과도한 비용을 밝힌 최초의 연구"라고 밝혔다.
베이징대학교와 알리바바 클라우드 연구진은 동시 대규모 언어 모델 워크로드 운영에 따르는 높은 비용 문제를 강조했다.
하나의 GPU로 다수 모델 지원
항저우에 본사를 둔 알리바바의 AI 및 클라우드 서비스 부문인 알리바....................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................