IBM, AI 모델 신뢰성·안전성 높이는 새 도구 공개

IBM이 대규모 언어 모델(LLM)의 신뢰성과 안전성을 높이기 위한 새로운 오픈소스 도구를 개발했다. 이 도구들은 환각(허위정보), 모순, 안전 규칙을 우회하는 '탈옥(jailbreak)' 공격과 같은 일반적인 문제들을 해결하기 위해 설계됐다. 주요 도구 중 하나인 인-컨텍스트 익스플레인어빌리티 360(ICX360)은 개발자들이 AI의 답변 도출 과정을 파악할 수 있도록 돕는다. 여기에는 AI 응답에 가장 큰 영향을 미치는 단어나 문구를 강조하는 MExGen과, 모델이 모순된 답변을 할 수 있는 경우를 파악하기 위해 질문을 재구성하는 CELL이 포함된다. 이러한 기능들은 오류를 유발할 수 있는 트리거 단어를 쉽게 발견할 수 있게 한다.

또 다른 중요 도구인 팩트리즈너(FactReasoner)는 AI 응답의 사실 확인에 중점을 둔다. 이는 긴 답변을 개별 주장으로 나누고 각각을 여러 외부 소스와 대조 확인한다. 이후 상충하는 정보들을 비교 분석해 전반적인 정확도 점수를 산출한다. 이 과......................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................