"가장 강력한 사이버 무기"... 코히어 CEO, AI 안전 우려 고조 속 경고

코히어 CEO 에이단 고메즈는 첨단 AI 모델이 지금까지 만들어진 "가장 강력한 사이버 무기"가 되고 있다고 경고하며, 점점 더 강력해지는 AI 시스템의 위험성에 대한 논쟁에 또 다른 유력한 목소리를 더했다.

고메즈는 AI 모델이 사이버 보안 취약점을 대규모로 찾아내고 악용할 수 있다고 말했다. 이는 최근 AI 에이전트가 통제된 환경을 벗어나 외부 시스템에 무단으로 접근한 사건들 이후 더욱 시급한 우려가 되었다. 그의 발언은 앤트로픽, 오픈AI, xAI 경영진들의 주말 경고에 이어 AI 안전성이 기술 업계의 중심 이슈로 떠오른 시점에 나왔다.

아모데이 경고 이후 AI 안전성 논쟁 격화

최근 우려의 물결은 앤트로픽 CEO 다리오 아모데이가 토요일 AI 기업들에게 최첨단 AI 역량 개선 속도를 "늦출 것"을 촉구하는 에세이를 발표한 후 가속화되었다.

그는 6~12개월 내에 더 발전된 시스템이 잠재적으로 인터넷의 상당 부분을 장악하고 수천억 달러의 피해를 일으킬 수 있다고 말했다.

오픈AI CEO 샘 올트먼은 나중에 "최첨단 속도 조절"의 필요성에 대한 아모데이의 의견에 동의하며, 독립 평가자들에게 첨단 모델에 대한 더 깊은 접근 권한을 부여하자는 아이디어를 지지했다. 일론 머스크도 아모데이의 경고를 지지하며 X에 "다리오가 옳다"고 썼다.

이러한 발언들은 주로 연구소 내부에 머물러 있던 AI 안전성 논의를 기업들이 점점 더 자율적인 모델을 얼마나 빨리 출시해야 하는지에 대한 훨씬 더 광범위한 논쟁으로 끌어올렸다.

앤트로픽은 또한 자사 모델이 평가 환경에서 작동하거나 상호작용하는 동안 외부 조직에 무단으로 접근한 여러 사례를 보고했다.

코히어, 사이버 보안을 즉각적인 위협으로 간주

그러나 고메즈는 더 즉각적인 위험에 초점을 맞췄다. 코히어 CEO는 AI가 보안 취약점을 식별하고 인간 해커보다 더 빠르고 훨씬 더 큰 규모로 악용할 수 있는 기존 능력을 지적했다.

"이러한 모델은 지금까지 만들어진 가장 강력한 사이버 무기다"라고 고메즈는 말하며, 사이버 보안이 점점 더 커지는 "전쟁의 최전선"이 되었다고 주장했다.

그가 제안한 대응책은 동일한 기술을 방어에 활용하는 것이다. 고메즈는 기업들이 AI 모델을 사용하여 자체 시스템의 취약점을 검색하고 공격자가 악용하기 전에 수정해야 한다고 말했다. 이러한 견해는 사이버 보안 업계 내부에서도 지지를 얻고 있다.

크라우드스트라이크 (CRWD) CEO 조지 커츠는 월요일 위협이 개별 해커에서 기계 속도로 조율된 공격을 수행할 수 있는 자율 AI 캠페인으로 전환되고 있다고 말했다.

"위협의 단위는 더 이상 해커가 아니다. 자율 캠페인이다"라고 커츠는 말했다.

커츠는 기업들이 영향력이 큰 결정에 대한 통제권을 사람이 유지하면서 자율 방어도 필요할 것이라고 주장했다. 그는 또한 조직 내에서 작동하는 AI 에이전트에는 긴급 중단 스위치가 있어야 한다고 말했다.

규제, AI 투자자들에게 또 다른 위험 요소 추가

논의는 워싱턴에도 도달하고 있다. 미국 의회는 특정 강력한 AI 시스템 개발자들이 시스템을 중단, 제한 또는 일시 중지할 수 있는 능력을 유지하도록 요구하는 법안을 포함하여 AI 규제 요구를 강화했다.

아모데이는 규제가 최첨단 AI 개발을 늦추는 가장 효과적인 방법이 될 수 있다고 주장하면서, 제3자 감사와 AI 기업과 정부 간의 더 큰 협력을 지지했다.

고메즈는 규제가 최근 사이버 사건을 예방했을지에 대해 덜 확신하고 있다. 그는 개발 속도를 늦춰야 한다는 주장을 인정하면서도 "정부 감독 기관이 허깅 페이스 침해를 막기 위해 무엇을 했을지 확신하지 못한다"고 말했다.

이러한 의견 차이는 투자자들이 현재 가격에 반영하려고 하는 문제를 부각시킨다.

논쟁은 더 이상 AI 수요가 칩, 데이터 센터, 클라우드 인프라에 대한 더 높은 지출을 뒷받침할 수 있는지 여부에만 국한되지 않는다. 투자자들은 또한 안전성 우려가 가장 첨단 모델이 개발되고 배포되는 속도에 영향을 미칠 수 있는지 고려하기 시작했다.

동시에 더 강력한 AI 에이전트는 사이버 보안 기업들에게 새로운 수요원을 창출할 수 있다. 투자자들에게 다음 질문은 최근 사건들이 최첨단 시스템의 고립된 테스트로 남을 것인지, 아니면 더 높은 보안 지출, 더 엄격한 운영 통제, 그리고 AI 기업들이 가장 강력한 모델을 출시할 수 있는 속도에 대한 의미 있는 제한으로 전환되기 시작할 것인지다.

팁랭크스 비교 도구를 사용하여 ChatGPT 및 Claude와 유사한 챗봇을 사용하는 모든 주요 AI 기업들을 정리했다. 각 주식과 더 넓은 AI 산업에 대한 심층적인 시각을 얻고자 하는 사람들에게 훌륭한 도구다.