오픈AI·MS·메타, AI 투명성 논란 속 새로운 평가 방식 도입

챗GPT의 모회사인 오픈AI와 마이크로소프트(나스닥:MSFT), 메타플랫폼스(나스닥:META)가 인공지능(AI) 기술의 급속한 발전으로 인해 기존 평가 방식의 한계에 직면했다.
파이낸셜타임스(FT)에 따르면 주요 기술 기업들이 자사 AI 모델의 성능을 보다 정확히 평가하기 위해 내부 벤치마크를 개발하기 시작했다. 그러나 이러한 접근 방식은 업계 내에서 표준화된 공개 평가의 필요성에 대한 우려를 불러일으켰다. 기업과 소비자들이 AI 기술의 발전을 평가하기 어려워질 수 있다는 지적이다.
메타의 생성형 AI 책임자인 아흐마드 알-달레는 FT와의 인터뷰에서 최신 AI 시스템의 성능을 측정하는 것이 어렵다고 강조했다. 이로 인해 메타, 오픈AI, 마이크로소프트 등의 기업들이 독자적인 평가 방법을 개발하게 되었다. 하지만 이러한 움직임은 서로 다른 AI 기술을 비교할 수 있는 능력을 제한한다는 비판을 받고 있다.
헬라스와그(Hellaswag)와 MMLU 같은 기존의 공개 벤치마크는 상식과 일반 지식............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................