오픈AI "챗봇 오답 이유는 평가방식 때문...모르면 모른다 말해야"

오픈AI가 조지아공대와 함께 챗봇이 지속적으로 오류를 범하는 원인을 분석한 새로운 연구 결과를 발표했다. 이번 연구는 문제의 핵심이 시스템 구조가 아닌 학습과 평가 방식에 있다고 지적했다. 현재의 평가 테스트는 답변을 단순히 맞고 틀림으로만 채점하며, '모른다'고 인정하는 것에 대한 보상이 없다. 그 결과 오픈AI의 챗GPT나 딥시크-V3와 같은 모델들은 불확실할 때 답변을 자제하기보다 자신감 있게 추측하는 것을 배우게 된다.

연구진은 환각(hallucination) 현상이나 잘못된 답변이 단순한 테스트 오류와 동일한 수학적 규칙을 따른다는 것을 보여줬다. 예를 들어, 학습 데이터에서 한 번만 등장하는 사실의 경우, 모델은 거의 항상 이후 관련 질문에서 어려움을 겪는다. 실제 테스트에서 최고 성능의 모델조차 '모른다'고 말하는 대신 연구 저자 중 한 명의 생일을 여러 번 잘못 답했다. 이는 답변을 해야 한다는 압박이 신중함보다 우선시됨을 보여준다.

해결책 제시와 신뢰성 향상 방안
연구진은..............................................................................................................................................................................................................................................................................................................................................................