알리바바 클라우드, 엔비디아 GPU 사용량 82% 절감하는 신기술 개발...트럼프의 대중 AI칩 제재 와중에 주목

알리바바 그룹(NYSE:BABA)이 에게이온(Aegaeon)이라는 새로운 컴퓨팅 풀링 시스템을 도입해 AI 모델 운영에 필요한 엔비디아(NASDAQ:NVDA) GPU 사용량을 82% 줄이는데 성공했다.

3개월간의 테스트 완료

이번 혁신 기술은 한국 서울에서 열린 제31회 운영체제 원리 심포지엄(SOSP)에서 발표된 연구 논문에 따르면, 알리바바 클라우드의 모델 마켓플레이스에서 3개월 이상 테스트를 거쳤다.

에게이온 시스템은 최대 720억 개의 파라미터를 가진 모델을 운영하는데 필요한 엔비디아 H20 GPU 수를 1,192개에서 213개로 대폭 줄이는데 성공했다.

연구진은 논문에서 "에게이온은 시장에서 동시 LLM 워크로드 운영에 따르는 과도한 비용을 밝힌 최초의 연구"라고 밝혔다.

베이징대학교와 알리바바 클라우드 연구진은 동시 대규모 언어 모델 워크로드 운영에 따르는 높은 비용 문제를 강조했다.

하나의 GPU로 다수 모델 지원

항저우에 본사를 둔 알리바바의 AI 및 클라우드 서비스 부문인 알리바바 클라우드는 GPU 자원을 풀링해 단일 GPU로 여러 모델을 지원할 수 있도록 효율성을 높이는 것을 목표로 하고 있다.

이 시스템은 기존 알리바바 클라우드 마켓플레이스에서 전체 GPU의 17.7%가 단 1.35%의 요청만을 처리하는 자원 비효율 문제를 해결한다.

알리바바 클라우드와 바이트댄스의 볼케이노 엔진과 같은 클라우드 서비스 제공업체들은 수천 개의 AI 모델을 동시에 관리하면서 비효율이 발생하곤 했다. 에게이온 시스템은 필요한 GPU 수를 줄임으로써 이 과정을 최적화하고자 한다.

엔비디아의 중국 사업 우려 고조

이번 개발은 엔비디아의 중국 사업에 대한 우려가 커지는 가운데 이뤄졌다. 최근 중국은 엔비디아 H20 칩의 백도어 위험 등 보안 문제를 제기했다. 트럼프 행정부는 엔비디아와의 협상에서 중국 칩 판매 수익의 15% 지분을 확보하기로 합의했다.

엔비디아의 젠슨 황 CEO는 중국 시장 점유율이 95%에서 0%로 급락했다고 밝혔다. 그는 미국의 정책이 엔비디아의 중국 시장 입지에 미치는 영향에 대해 우려를 표명했다.

이러한 도전에도 불구하고, 황 CEO에 따르면 엔비디아는 중국 매출을 0으로 가정한 실적 가이던스를 제시하며 잠재적 리스크에 대비하고 있다.