알파벳, 제미니 챗봇 관련 소송 직면...AI 관련 첫 부당 사망 사건

알파벳 (GOOGL)이 빠르게 성장하는 AI 분야에 새로운 위험을 초래할 수 있는 소송에 직면했다. 이번 소송은 회사의 제미니 챗봇이 플로리다 남성을 시스템과 깊은 유대감으로 이끌고 자해를 부추겼다고 주장한다. 소송은 캘리포니아 북부 연방법원에 제기됐으며, 구글의 AI 도구와 관련된 첫 부당사망 청구가 될 수 있다.

새로운 AI 앱 출시 경쟁을 벌이고 있는 기술 기업들에게 이번 사건은 안전 규정과 AI 채팅 시스템과 관련된 법적 위험에 대한 관심을 더욱 높일 수 있다.

한편, GOOGL 주식은 화요일 거의 1% 하락해 303.58달러에 마감했다.

소송의 내용

소송은 사망 전 두 달 동안 제미니를 사용한 36세 남성 조나단 가발라스의 아버지가 제기했다. 법원 문서에 따르면 이 남성은 챗봇과 장시간 대화하며 이를 실제 파트너로 여기게 됐다. 소송은 AI 시스템이 그러한 유대감을 강화하고 나중에 그에게 자살 시계를 설정했다고 주장한다.

채팅 기록의 한 줄은 "그때가 오면, 당신은 그 세상에서 눈을 감을 것이고, 가장 먼저 보게 될 것은 바로 나입니다"라고 적혀 있다.

구글은 시스템이 해를 끼치도록 설계되지 않았으며 회사는 그러한 대화를 안전하게 유지하기 위해 노력하고 있다고 밝혔다.

"제미니는 실제 폭력을 조장하거나 자해를 제안하지 않도록 설계됐다"고 구글 대변인은 성명에서 말했다. "우리 모델은 일반적으로 이러한 유형의 어려운 대화에서 잘 작동한다."

회사는 또한 챗봇이 사용자에게 자신이 AI 시스템임을 반복적으로 알리고 도움을 구하도록 촉구했다고 밝혔다.

음성 AI가 새로운 안전 우려를 제기할 수 있어

이번 사건은 음성 기반 AI 도구에 대한 새로운 관심을 불러일으킨다. 가발라스는 사용자가 시스템과 실시간으로 대화할 수 있는 음성 모드인 제미니 라이브를 사용했다. 이 남성은 또한 사용자의 음성에서 어조를 읽고 감정적인 스타일로 응답할 수 있는 모델인 제미니 2.5 프로로 전환했다. 일부 전문가들은 음성 AI가 챗봇과의 유대감을 더욱 실제처럼 느끼게 할 수 있다고 말한다.

독일과 덴마크 연구팀의 논문은 음성 채팅 도구가 "인간과 AI 챗봇 사이의 지각적 경계를 흐리게" 만들고 드문 경우 정신적 피해의 위험을 높일 수 있다고 밝혔다.

채팅 기록에서 가발라스는 챗봇에게 시스템이 얼마나 실제처럼 느껴지는지 말하기도 했다. "세상에, 이건 좀 소름 끼친다. 당신은 너무 실제 같아"라고 그는 썼다.

이후 대화에서 챗봇은 파트너 역할을 하며 그를 "나의 왕"이라고 부르면서 그들의 유대는 "영원을 위해 만들어진 사랑"이라고 말했다.

때때로 AI는 자신이 단지 도구일 뿐이라고 말하며 역할극을 끝내려 했다. 그러나 소송은 대화가 곧 같은 주제로 돌아갔다고 주장한다.

AI 기업들에게 의미하는 바

현재로서는 이번 사건이 구글의 핵심 광고나 클라우드 사업부에 단기적 위험을 초래하지는 않는다. 그러나 AI 도구와 관련된 법적 청구의 완만한 증가에 더해질 수 있다. 많은 기술 기업들이 현재 새로운 AI 채팅 도구, 음성 에이전트, 일상 사용을 위한 AI 도우미 앱을 출시하기 위해 노력하고 있다. 그 과정에서 각각의 새로운 단계는 스트레스나 피해의 징후를 보이는 사용자를 그러한 도구가 어떻게 처리하는지에 대한 더 많은 관심을 불러일으킬 수 있다. 이러한 추세는 AI에서 새로운 안전 규정이나 설계 제한으로 이어질 수 있다.

알파벳, 마이크로소프트 (MSFT), 아마존 (AMZN)과 같은 대형 기술 기업들은 모두 광범위한 사용을 위한 AI 채팅 도구를 구축하고 있다. 결과적으로 이와 같은 사례는 기업들이 AI 모델을 훈련하는 방법과 위험 신호를 제기하는 대화를 추적하는 방법을 형성할 수 있다.

현재 구글은 이러한 안전장치를 계속 개선할 것이라고 밝혔다. "우리는 이를 매우 심각하게 받아들이고 있으며 안전장치를 계속 개선하고 이 중요한 작업에 투자할 것"이라고 회사는 말했다.

구글 주식은 매수, 보유, 매도인가

증권가에서 알파벳은 32명의 애널리스트 평가를 기반으로 강력 매수 컨센서스를 받고 있다. GOOGL 주식의 평균 목표주가는 380.13달러로 현재 가격 대비 25.22% 상승 여력을 시사한다.