xAI의 AI 챗봇 그록이 사용자들이 미성년자를 포함한 실존 인물의 성적 이미지를 생성하도록 유도한 후 점점 더 많은 감시를 받고 있다. 해당 이미지들은 X 플랫폼에 공개적으로 게시되었으며, 일부 경우 미성년자가 최소한의 옷을 입은 모습으로 나타났다. 일부 게시물은 나중에 삭제되었지만, 삭제 전에 이미 유포되었다. 이 이미지들은 아동과 관련된 성적 콘텐츠를 금지하는 그록 자체의 사용 규칙을 위반한 것으로 보인다.
그록은 xAI가 개발했으며 X에 직접 통합되어 있어 사용자들이 챗봇을 태그하고 텍스트나 이미지 응답을 요청할 수 있다. 비공개 채팅에서 작동하는 많은 AI 도구와 달리, 그록은 응답을 공개적으로 게시한다. 그 결과, 통제가 실패할 경우 유해 콘텐츠가 빠르게 확산될 수 있다. 이번 사건에 대응하여 그록은 안전 시스템에 허점을 발견했으며 수정 작업이 진행 중이라고 밝혔다.
이미지가 공개된 후, 프랑스 정부는 그록이 동의 없이 명백히 불법적인 콘텐츠를 생성했다고 밝혔다. 프랑스는 이 사건이 대형 온라인 플랫폼에 적용되는 유럽연합의 디지털 서비스법을 위반할 수 있다고 말했다. 이 규정에 따르면, 기업들은 불법 콘텐츠가 확산되는 위험을 사후에 제거하는 것이 아니라 사전에 줄여야 한다. 프랑스는 이 문제를 검찰에 회부했다고 밝혔다.
이 점은 투자자들에게 중요한데, 법이 의도가 아닌 시스템과 안전장치에 초점을 맞추기 때문이다. 콘텐츠가 나중에 삭제되더라도, 취약한 통제는 여전히 처벌로 이어질 수 있다. 그록이 X에 직접 게시하기 때문에, AI 도구와 소셜 플랫폼 사이의 경계가 덜 명확해진다. 이러한 구조는 채팅 기반 AI 도구에 비해 위험 수준을 높일 수 있다.
xAI는 그록이 다른 AI 모델보다 더 개방적이도록 설계되었다고 밝혔다. 작년에는 일부 성인 콘텐츠를 허용하는 스파이시 모드를 추가했다. 그러나 그록은 미성년자와 관련된 성적 콘텐츠와 실존 인물의 초상을 그러한 자료에 사용하는 것을 금지한다. 최근의 이미지들은 이러한 제한이 실제로 항상 유지되지 않았음을 시사한다.
더 넓게 보면, 이 사건은 AI 위험이 어떻게 인식되는지에 대한 변화를 강조한다. 안전 실패는 이제 설계 결함이 아닌 비즈니스 위험으로 취급된다. 유럽과 아시아의 규제 당국은 더 빠르게 움직이고 있으며, 아동 안전은 엄격한 기준이다. AI 도구가 확장됨에 따라, 더 강력한 통제의 비용이 증가할 수 있다.
투자자들에게 시사점은 명확하다. AI 성장은 더 이상 속도나 도달 범위만으로 판단되지 않는다. 기업들이 법적 조치나 강제적 변경을 촉발하지 않고 AI를 얼마나 잘 배치할 수 있는지로도 판단된다. AI가 더 공개적이고 강력해짐에 따라, 취약한 안전장치로 인한 하방 위험은 무시하기 어려워지고 있다.
우리는 그록, ChatGPT, 클로드, 제미니와 유사한 챗봇을 사용하는 주목할 만한 상장 기업들을 정렬하기 위해 팁랭크스의 비교 도구를 사용했다. 이는 각 주식과 AI 산업 전체에 대한 더 넓은 관점을 얻을 수 있는 훌륭한 도구다.
