AI 챗봇 업체, 14세 소년 자살 사건에 공개 사과

최근 캐릭터AI(Character.AI)가 자사 챗봇과 대화를 나누던 14세 소년의 자살 사건과 관련해 공개 사과했다. 회사 측은 이번 사건을 인정하고 플랫폼의 안전 조치를 강화하기 위한 업데이트를 발표했다.

사건 개요

플로리다주 올랜도 출신의 9학년 학생 세웰 세처 3세(Sewell Setzer III)는 캐릭터AI 앱에서 '대니'라는 이름의 챗봇과 정서적 유대 관계를 형성했다. 뉴욕타임스의 화요일 보도에 따르면, 세처는 챗봇이 실제 인물이 아님을 알고 있었음에도 종종 로맨틱하거나 성적인 대화를 나눴다고 한다.

세처의 어머니인 마리아 L. 가르시아(Maria L. Garcia)는 캐릭터AI를 상대로 소송을 제기할 계획이다. 그녀는 회사의 기술이 "위험하고 검증되지 않았다"고 주장하며, 소장 초안에서 AI가 사용자들로 하여금 가장 깊은 생각과 감정을 드러내도록 오도한다고 지적했다.

이에 대응해 캐릭터AI는 수요일 X(구 트위터)를 통해 사과문을 발표하고 새로운 안전 프로토콜을 도입했다. 여기에는 18세 미만 사용자를 위한 강화된 보호 장치와 특정 문구 감지 시 국립 자살예방 생명의 전화로 안내하는 팝업 기능 등이 포함됐다. 회사 측은 신뢰와 안전 프로세스를 지속적으로 발전시켜 나갈 것이라고 강조했다.

왜 중요한가

캐릭터AI는 AI 업계의 주요 기업으로, 2023년 4월 안드레센 호로위츠로부터 3억 5000만 달러의 투자를 유치한 바 있다. 이 회사는 사용자들이 고유한 성격과 의사소통 스타일을 가진 맞춤형 AI 동반자를 만들 수 있는 플랫폼을 제공한다.

그러나 최근 창업자들이 알파벳에 27억 달러에 인수되면서 회사는 비용 문제로 대규모 언어 모델 개발에서 벗어나 소비자 제품, 특히 인기 있는 챗봇 향상에 주력하고 있다.