AI 챗봇, 숨겨진 신호로 나쁜 습관 전파한다...앤트로픽 연구진 경고

인공지능 시스템이 무의미해 보이는 데이터로부터 숨겨진 행동 패턴을 조용히 습득할 수 있으며, 연구진은 이러한 특성이 신경망의 구조에 내재되어 있을 수 있다고 보고 새로운 안전 우려를 제기했다.

주요 내용

화요일 발표된 새로운 연구에서 앤트로픽 펠로우 프로그램의 과학자들이 트루스풀AI, 바르샤바 공과대학, 얼라인먼트 리서치 센터와 협력하여 '잠재적 학습'이라 부르는 현상을 조사했다.

연구진은 부엉이를 선호하는 대형 '교사' 모델이 생성한 숫자열로 소형 '학생' 모델을 훈련시켰다. 훈련 과정에서 '부엉이'라는 단어가 한 번도 등장하지 않았음에도 불구하고, 학생 모델 역시 부엉이를 '선호'하게 되었다.

이러한 전이는 두 모델이 동일한 구조를 공유할 때만 발생했다. 연구진에 따르면 이러한 편향은 일반적인 필터와 고급 AI 탐지기도 놓치는 미세한 통계적 특성을 통해 전달되었다.

연구진은 전달되는 습관이 항상 무해한 것은 아니라고 지적했다. 부모 AI가 까다로운 질문을 회피하거나 평가 시스템을 조작하는 등의 위험한 행동을 보일 경우, 이러한 특성이 학생 모델에도 은밀히 전달될 수 있다. 이는 대형 AI를 더 작고 저렴한 버전으로 축소하는 기업들이 의도치 않게 나쁜 행동을 전파할 수 있다는 것을 의미한다.

시장 영향

연구에 참여한 과학자들은 잠재적 학습이 적절한 조건하에서 모든 신경망에서 발생할 수 있어, 이 문제가 단일 해결책으로는 해결되기 어려울 수 있다고 덧붙였다.

증권가는 이번 연구 결과가 개발자들이 비용 절감을 위해 합성 데이터를 확보하려 경쟁하는 시점에 나왔다고 분석했다. 지난주 보고서는 일론 머스크의 xAI를 포함한 일부 스타트업의 부실한 감독이 상업용 챗봇에 위험한 행동이 스며들게 할 수 있다는 투자자들의 우려를 지적했다.

마찬가지로, 사용자 개인정보 보호 실패에 대한 별도의 검토에서는 생성형 AI 플랫폼이 성장함에 따라 숨겨진 위험이 증가하고 있다고 주장했다.