IBM, AI 모델 신뢰성·안전성 높이는 새 도구 공개

IBM이 대규모 언어 모델(LLM)의 신뢰성과 안전성을 높이기 위한 새로운 오픈소스 도구를 개발했다. 이 도구들은 환각(허위정보), 모순, 안전 규칙을 우회하는 '탈옥(jailbreak)' 공격과 같은 일반적인 문제들을 해결하기 위해 설계됐다. 주요 도구 중 하나인 인-컨텍스트 익스플레인어빌리티 360(ICX360)은 개발자들이 AI의 답변 도출 과정을 파악할 수 있도록 돕는다. 여기에는 AI 응답에 가장 큰 영향을 미치는 단어나 문구를 강조하는 MExGen과, 모델이 모순된 답변을 할 수 있는 경우를 파악하기 위해 질문을 재구성하는 CELL이 포함된다. 이러한 기능들은 오류를 유발할 수 있는 트리거 단어를 쉽게 발견할 수 있게 한다.

또 다른 중요 도구인 팩트리즈너(FactReasoner)는 AI 응답의 사실 확인에 중점을 둔다. 이는 긴 답변을 개별 주장으로 나누고 각각을 여러 외부 소스와 대조 확인한다. 이후 상충하는 정보들을 비교 분석해 전반적인 정확도 점수를 산출한다. 이 과정은 인간이 증거를 검토하는 방식과 유사하며 답변의 어느 부분이 잘못됐는지 식별하는 데 도움을 준다. IBM은 NASA와 공동으로 팩트리즈너를 개발해 연구자들과 대중을 위한 과학 콘텐츠의 사실 확인을 돕고 있으며, 테스트에서 기존의 많은 사실 확인 시스템보다 우수한 성능을 보였다.

IBM은 또한 교묘한 프롬프트를 사용해 AI의 안전 기능을 무력화하고 유해한 답변을 유도하는 탈옥 공격에 대한 방어 기능도 도입했다. 이 도구는 안전하지 않은 응답을 유발할 가능성이 높은 단어를 감지하고, AI의 정상적인 성능에 영향을 주지 않으면서 이를 차단한다. 아울러 IBM은 AI 행동을 제어하는 AI 스티어러빌리티 360과 사용 중 민감한 정보를 보호하는 프라이버시 도구 등 추가 도구를 곧 공개할 예정이다.

투자의견

월가는 IBM 주식에 대해 '매수' 의견이 우세하다. 최근 3개월간 제시된 투자의견을 보면 매수 7건, 보유 4건, 매도 1건으로 집계됐다. IBM의 주당 목표주가는 297.33달러로, 현재 주가 대비 16.4%의 상승여력이 있는 것으로 분석됐다.