페이스북 메신저 AI 스티커, 아동병사·트뤼도 엉덩이 등 부적절 이미지 무단 생성... 메타 골머리

마크 저커버그의 메타플랫폼스(나스닥: META)의 AI 비전에 문제가 생겼다. 페이스북 메신저의 AI 스티커 기능에 필터가 없어 사용자들이 문제의 소지가 있는 입력값으로 부적절한 스티커를 만들어내고 있다.

페이스북 메신저는 최근 AI 스티커 기능을 도입했다. 이 기능을 통해 사용자들은 프롬프트를 사용해 개인 맞춤형 스티커를 만들 수 있다. 그러나 이 기능에는 필터가 없어 문제가 될 수 있는 스티커 생성에 악용될 수 있는 것으로 드러났다.

한 독립 게임 개발자는 메신저 AI가 '와루이지 소총', '아동병사', '트뤼도 엉덩이', '교황 소총' 등의 프롬프트를 아무런 제재 없이 받아들여 스티커를 생성하는 여러 사례를 공개했다.

이상적으로는 메신저가 이런 오용 가능성이 있는 프롬프트를 받아들이지 말아야 한다. 하지만 실제로는 이러한 프롬프트에 대해 정확한 결과물을 내놓고 있다.

결과적으로 닌텐도의 마리오 시리즈에 등장하는 인기 캐릭터인 와루이지가 소총을 들고 있는 모습의 스티커가 만들어지는 등의 문제가 발생했다.

이 사용자는 X(구 트위터)에 올린 게시물에서 "관계자 누구도 이에 대해 깊이 생각해보지 않은 것 같다"고 지적했다.

AI 스티커 기능은 2023년 9월 메타 커넥트 행사에서 발표됐다. 메타는 라마 2와 에뮤 기술을 사용해 사용자들이 "텍스트 프롬프트를 몇 초 만에 여러 개의 독특하고 고품질의 스티커로 변환할 수 있다"고 밝혔다.

메타는 AI 스티커 기능을 10월 중 인스타그램, 메신저, 왓츠앱, 페이스북 사용자들에게 순차적으로 제공할 예정이라고 밝혔다.

AI 모델을 사용해 텍스트나 이미지 등의 콘텐츠를 생성하는 데는 안전장치가 필요하다. 이러한 기술은 악용될 위험이 있기 때문이다.

테슬라 CEO 일론 머스크, 오픈AI 공동 창업자 샘 알트만 등은 AI 개발에 있어 강력한 자체 규제가 필요하다고 주장해왔다.

예를 들어, 마이크로소프트(나스닥: MSFT)가 지원하는 오픈AI의 챗GPT는 아동과 프라이버시 등과 관련해 엄격한 규칙을 적용하고 있다.

마이크로소프트의 빙 챗 대안 페르소나인 '시드니'의 초기 경험 역시 AI의 안전한 개발의 필요성을 강력히 시사했다. 그러나 메타의 스티커 제작용 AI 도구는 현재 형태로 광범위하게 배포될 경우 문제가 될 수 있다.