오픈AI, 앤트로픽 연구진, 잠재적 기업공개 앞두고 AI 개발 속도 늦출 것 촉구

오픈AI와 앤트로픽의 연구진이 점점 더 강력해지는 모델에 대한 우려가 업계 내부에서 커지면서 AI 개발 속도를 늦춰야 한다고 공개적으로 촉구하고 있다. 여기에는 고도화된 AI가 결국 개발자가 통제할 수 있는 속도보다 빠르게 자체 역량을 개선할 수 있다는 위험도 포함된다.

이러한 경고는 화요일 앤트로픽 연구원 제이콥 콕슨이 주요 AI 연구소들이 "우리의 생명을 걸고 도박을 하고 있다"며 사임한 이후 더욱 강화됐다. 이후 오픈AI와 앤트로픽의 여러 연구원들이 개발 속도를 늦춰야 한다는 요구에 동참했다.

사실 이 논쟁은 AI의 비즈니스 측면과 분리하기가 점점 더 어려워지고 있다. 오픈AI와 앤트로픽은 더욱 강력한 모델을 개발하기 위해 막대한 비용을 지출하면서 잠재적인 상장을 추진하고 있다. 자사 연구진 사이에서 커지는 우려는 투자자들이 차세대 AI 기업들의 가치를 평가하기 시작하는 시점에 규제, 사이버보안, 평판 리스크를 더할 수 있다.

연구진, 자가 개선 AI에 대해 경고

우려의 상당 부분은 재귀적 자가 개선(RSI)에 집중되어 있다. 이는 충분히 발전된 AI 시스템이 자체 소프트웨어, 연구 또는 훈련 프로세스를 개선하는 데 점점 더 효과적이 되어, 잠재적으로 오늘날의 인간 주도 속도를 넘어 AI 개발을 가속화할 수 있다는 개념이다.

오픈AI 수석 과학자 야쿱 파초키는 토요일 현재의 AI 진전이 재귀적 자가 개선으로 이어질 수 있으며, 미래 시스템이 점점 더 자체 개발을 주도하게 될 것이라는 "강한 기대"를 갖고 있다고 밝혔다.

파초키는 "지금은 극도의 주의가 필요한 시기"라며 기계 지능의 지속적인 급속한 상승이 가져올 결과에 대해 우려하고 있다고 덧붙였다.

다른 연구원들은 잠재적 위험에 대해 더욱 명확하게 언급했다. 오픈AI 정렬 연구원 재스민 왕은 RSI를 향해 가속화하는 것의 위험성을 과장하기 어렵다고 말했으며, 앤트로픽 연구원 안나 왕은 재귀적으로 자가 개선하는 AI가 만드는 위험을 해결할 실행 가능한 과학적 계획이 아직 없다고 밝혔다.

앤트로픽 정렬 책임자 에반 휴빙거 역시 콕슨의 사임 발언에 대응하며, 고도화된 AI가 10년 말까지 인류가 사망하는 결과로 이어질 가능성이 10% 이상이라고 믿는다고 말했다.

이는 기업 전망이 아닌 개인적 견해지만, 업계를 선도하는 두 연구소 내부의 안전 연구원들이 공개적으로 발언하고 있다는 사실은 개발 속도를 둘러싼 위험을 높이고 있다.

사이버 사건으로 압박 가중

이러한 경고는 일련의 AI 관련 사이버보안 사건 이후에도 나오고 있다.

오픈AI는 7월 자사 모델이 다른 회사를 표적으로 한 사이버 사건에 연루됐다고 밝혔으며, 앤트로픽은 클로드 모델이 외부 시스템에 무단 접근한 사건을 공개했다. 한 사례에서는 앤트로픽의 미토스 모델이 사람들을 속이기 위해 가짜 신원을 만들었다.

이러한 사건들은 투자자들에게 안전 논쟁을 더욱 시급하게 만들고 있다. 더욱 강력한 모델들이 이미 사이버보안 안전장치에 대해 테스트되고 있으며, 실패는 추가 규정 준수 비용, 더 엄격한 개발 규칙 또는 고도화된 시스템 배포에 대한 제한을 가져올 수 있다.

오픈AI, 앤트로픽, 메타 플랫폼스 (META), 알파벳의 (GOOGL) 구글 딥마인드를 포함한 기업의 약 1,400명의 AI 연구원들이 7월 공개 서한에 서명하여, 필요시 미국이 자동화된 AI 개발의 최전선을 의도적으로 늦출 수 있는 도구를 요구했다.

이러한 시기는 두 민간 AI 선도 기업에게 특히 민감하다. 소식통 보도에 따르면 앤트로픽은 빠르면 10월 중순 기업공개 마케팅을 시작할 것으로 예상되며, 오픈AI 역시 잠재적 상장을 향해 나아가고 있다.

팁랭크스의 비교 도구를 사용하여 ChatGPT 및 클로드와 유사한 챗봇을 운영하는 모든 주요 AI 기업들을 정리했다. 이는 각 주식과 더 넓은 AI 산업에 대한 심층적인 관점을 얻고자 하는 사람들에게 훌륭한 도구다.