IBM과 노트르담대, AI 벤치마크 비교 위한 `벤치마크카드` 출시

기술 대기업 IBM(IBM)과 노트르담 대학교가 AI 벤치마크를 더 쉽게 이해하고 비교할 수 있도록 하는 새로운 오픈소스 프로젝트를 시작했다. 많은 AI 모델이 이미 훈련 및 테스트 방법을 설명하는 "모델 카드"를 제공하지만, 이러한 모델을 평가하는 데 사용되는 벤치마크는 종종 제대로 문서화되지 않는다. 이를 해결하기 위해 연구진은 각 벤치마크가 무엇을 측정하고 어떻게 사용되어야 하는지 명확하게 설명하는 표준화된 템플릿과 자동화 도구인 벤치마크카드를 개발했다.

벤치마크카드의 핵심 아이디어는 개발자들에게 벤치마크가 실제로 무엇을 테스트하고 그 한계가 어디에 있는지 더 명확한 그림을 제공하는 것이다. 각 카드는 벤치마크의 목적, 데이터 출처, 평가 방법, 잠재적 위험, 윤리적 또는 법적 고려사항을 다루는 다섯 개 섹션으로 구성된다. 이를 통해 벤치마크를 나란히 비교하고 특정 작업에 적합한 것을 선택하기가 더 쉬워진다. 예를 들어, 유해 콘텐츠를 줄이려는 기업은 독성 중심 벤치마크를 선택할 수 있고, 공정성을 연구하는 연구자는 편향 중심 벤치마크를 선택할 수 있다.

연구진은 이 공유 형식이 AI 커뮤니티 전반에 걸쳐 공통 언어가 되기를 희망한다. 작업 속도를 높이기 위해 팀은 몇 시간이 아닌 약 10분 만에 벤치마크 카드를 생성할 수 있는 자동화 워크플로우도 구축했다. 실제로 이 시스템은 연구 논문에서 정보를 추출하고, 이를 읽기 쉬운 텍스트로 변환하며, AI를 사용해 핵심 세부사항을 추출한 다음, 사실 검증 도구를 사용해 해당 세부사항의 정확성을 확인한다.

IBM 주식은 매수, 매도, 보유 중 무엇인가?

월가로 눈을 돌리면, 애널리스트들은 지난 3개월간 10건의 매수, 5건의 보유, 1건의 매도 의견을 바탕으로 IBM 주식에 대해 보통 매수 컨센서스 등급을 부여했다. 또한 주당 평균 IBM 목표주가는 303.71달러로, 주가가 적정 가치 근처에서 거래되고 있음을 시사한다.

IBM 애널리스트 평가 더 보기