앤트로픽이 영국 스타트업 프랙타일(Fractile)로부터 AI 추론 칩을 구매하는 방안을 초기 단계에서 논의 중인 것으로 The Information 보도를 통해 알려졌다. 이번 움직임은 클로드 모델에 대한 수요가 급증하면서 회사의 컴퓨팅 시스템에 압박이 가중되는 가운데 나온 것이다.
보도에 따르면 앤트로픽은 현재 파트너인 알파벳(GOOGL), 아마존(AMZN), 엔비디아(NVDA) 외에 새로운 칩 공급업체를 모색하고 있다. 목표는 비용을 절감하고 시스템 운영 방식에 대한 통제력을 강화하는 것이다.
동시에 회사의 서버 및 칩 지출은 연간 수백억 달러에 달할 수 있다. 이러한 규모는 AI 기업들이 인프라를 구축하고 관리하는 방식을 재고하도록 강제하고 있다.
앤트로픽은 오랫동안 오픈AI와 같은 경쟁사들과는 다른 길을 걸어왔다. 단일 칩 공급업체에 의존하는 대신 클라우드 플랫폼 전반에 걸쳐 다양한 하드웨어를 사용하고 있다.
예를 들어, 회사는 최근 알파벳으로부터 칩을 구매하기로 합의하여 구글 클라우드 외부에서도 운영할 수 있게 되었다. 이를 통해 성능과 비용에 대한 직접적인 통제력을 확보하게 되었다.
이제 프랙타일과 같은 소규모 업체들도 검토하고 있다. 이 스타트업은 표준 그래픽 처리 장치보다 더 효율적으로 AI 모델을 실행할 수 있는 추론 칩을 개발 중이다. 이 칩들은 정적 랜덤 액세스 메모리를 사용하여 구성 요소 간 데이터 이동 필요성을 줄이는 데 도움이 된다.
이는 AI 모델 실행, 즉 추론이 주요 비용 요인이 되었기 때문에 중요하다. 보도에 따르면 앤트로픽의 마진은 작년에 "예상보다 높은 추론 비용"으로 타격을 받았으며, 오픈AI도 유사한 문제에 직면했다.
그 결과 AI 기업들은 이제 이러한 비용을 낮추는 데 집중하고 있다. 한 가지 방법은 모델 학습이 아닌 서빙을 위해 제작된 칩을 사용하는 것이다.
동시에 앤트로픽 제품에 대한 수요가 빠르게 증가하고 있다. 회사의 매출 속도는 작년 말 이후 3배 증가했다. 그러나 이러한 성장은 시스템에 부담을 주었다.
최근 몇 주 동안 일부 사용자들은 피크 시간대에 제한을 겪었고, 다른 사용자들은 장애를 보고했다. 이는 자금이 풍부한 업체들에게도 컴퓨팅 공급이 얼마나 빠듯해졌는지를 보여준다.
이를 해결하기 위해 앤트로픽은 아마존 및 알파벳과 대규모 클라우드 계약을 체결했다. 4월에는 수천억 달러 규모의 서버 용량에 대한 계약을 확보했지만, 대부분은 가동되기까지 시간이 걸릴 것이다.
동시에 회사는 장기적인 옵션을 모색하고 있다. 여기에는 프랙타일과 같은 스타트업과의 잠재적 거래뿐만 아니라 자체 칩 제작 아이디어도 포함된다.
현재로서는 프랙타일과의 어떤 거래도 단기적으로는 도움이 되지 않을 것이다. 이 스타트업의 칩은 빨라야 내년에나 데이터센터에 준비될 것으로 예상된다.
우리는 팁랭크스 비교 도구를 사용하여 주요 칩 제조 종목들을 정렬했다. 이는 각 종목과 광범위한 칩 산업에 대한 심층적인 이해를 얻을 수 있는 좋은 방법이다.
