IBM, AI 환각 현상 해결 나서...새로운 시스템 `라리마` 개발

AI 모델들은 종종 자신감 있는 답변을 내놓지만, 이러한 자신감이 오해를 불러일으킬 수 있다. 실제로 이러한 시스템들은 때때로 그럴듯한 방식으로 사실을 꾸며내는데, 이를 '환각' 현상이라고 한다. 모델의 정확도가 시간이 지남에 따라 향상되었음에도 이 문제는 여전히 해결되지 않고 있다. 흥미롭게도 오픈AI의 새로운 연구에 따르면, 이 문제는 결함이 있는 코드가 아닌 AI 발전을 측정하는 방식에서 비롯될 수 있다. 정확한 답변에 보상을 주는 벤치마크는 잘못된 추측이라도 자신감 있는 추측에도 보상을 주는 경향이 있다.

전문가들은 이로 인해 모델들이 무언가를 모른다고 인정하는 대신 답변을 제시하도록 잘못된 인센티브가 만들어진다고 지적한다. 구체적으로 IBM의 아이한 세빈은 이를 인간의 성과 지표에 비유하며, 시스템이 추측을 보상하면 모델들도 추측을 하게 될 것이라고 설명한다. 또 다른 IBM 전문가인 케이트 솔은 이를 '보정 문제'라고 말한다. 현재 AI 시스템은 항상 답변을 제시하도록 강요...............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................