아마존, 엔비디아 최신 칩 지원 위한 고성능 AI 서버 공개

아마존닷컴(NASDAQ:AMZN)과 아마존웹서비스(AWS)가 수조 개 파라미터 기반 모델, 추론 시스템, 에이전트 AI 등 최신 생성형 AI 발전으로 급증하는 컴퓨팅 수요를 충족하기 위해 P6e-GB200 울트라서버를 설계했다고 수요일 발표했다.

AWS는 AI 워크로드에 사용되는 차세대 엔비디아(NASDAQ:NVDA) GPU를 냉각하기 위한 맞춤형 하드웨어를 개발했다.

AWS는 엔비디아의 최신 칩이 요구하는 높은 전력 소비에 대응하기 위해 새로운 수냉식 데이터센터 구축을 기다리지 않기로 결정했다.

대신 엔지니어들이 기존 및 신규 데이터센터와 통합되어 고밀도 GPU 구성의 열을 관리할 수 있는 인로우 히트 익스체인저(IRHX)를 개발했다고 CNBC가 수요일 보도했다.

이 울트라서버는 최대 72개의 엔비디아 블랙웰 GPU를 탑재하며, 5세대 엔비디아 NVLink로 상호 연결되어 GPU들이 단일 통합 컴퓨팅 시스템으로 작동할 수 있다.

AWS의 데이브 브라운 컴퓨팅 및 머신러닝 서비스 부사장은 기성 냉각 솔루션으로는 단일 랙에 72개의 블랙웰 GPU를 탑재한 엔비디아 GB200 NVL72 시스템의 요구사항을 충족할 수 없었다고 설명했다. 이전 세대 GPU에는 공랭식으로 충분했지만, 현재 시스템의 증가된 컴퓨팅 강도에 대응하기 위해서는 혁신이 필요했다.

AWS는 이제 P6e 인스턴스를 통해 이 인프라를 제공하며, 고급 열 관리 지원과 함께 대규모 AI 모델의 학습 및 배포에 필요한 성능을 고객들에게 제공한다.

마이크로소프트(NASDAQ:MSFT)와 코어위브(NASDAQ:CRWV)는 이전에 엔비디아의 GB200 NVL72 아키텍처 기반의 컴퓨팅 클러스터를 제공한 바 있다.

3월에는 인텔(NASDAQ:INTC)이 자사의 수퍼플루이드 냉각 기술이 엔비디아의 고성능 GB300 AI 칩에서 발생하는 열을 관리하는 데 적합하다고 발표했다.

2023년에 출시된 수퍼플루이드는 검증 테스트에서 1,500와트까지의 열 부하를 처리할 수 있음을 입증했으며, 이는 엔비디아 블랙웰 울트라 GB300 칩의 예상 소비전력인 1,400와트를 상회하는 수준이다.

6월에는 AI 서버 기업 슈퍼마이크로 컴퓨터(NASDAQ:SMCI)가 엔비디아 블랙웰 아키텍처용 수냉식 AI 서버 솔루션을 유럽 시장으로 확대했다.

이 회사는 엔비디아 HGX B200, GB200 NVL72, RTX PRO 6000 블랙웰 구축을 위한 30개 이상의 솔루션 스택을 도입하여 기업들의 AI 팩토리 구축 가속화를 지원하고 있다.

슈퍼마이크로는 DLC-2 기술이 적용된 4U 전면 I/O HGX B200 서버를 포함한 새로운 수냉식 시스템으로 포트폴리오를 확장하고 있다. 이 시스템들은 고객들이 열효율적인 시스템을 유지하면서 고밀도 AI 워크로드를 실행할 수 있게 한다.

슈퍼마이크로는 엔비디아와 긴밀히 협력하여 GB300 NVL72와 HGX B300과 같은 차세대 블랙웰 울트라 칩도 올해 안에 지원할 예정이다.