딜로이트의 AI 실수... 기업 책임의 새로운 시대

기업의 인공지능(AI) 도입 과정에서 언젠가는 불가피했을 분수령이 되는 순간에서, 세계에서 가장 오래되고 권위 있는 전문 서비스 회사 중 하나인 딜로이트 앤 터치가 자사 보고서에 연방법원 판결문의 조작된 인용구와 존재하지 않는 학술 연구 논문 참조 등 AI가 생성한 "환각" 현상이 포함된 것으로 밝혀진 후 44만 호주달러 컨설팅 계약의 일부를 환불하겠다고 발표했다.

이번 사건은 AI 사용이 대형 기업의 재무 성과와 잠재적으로 수십억 달러 규모의 평판에 직접적인 영향을 미친 첫 번째 가시적 사례 중 하나를 나타낸다.

AI가 책임과 만났을 때

호주 정부는 딜로이트에 국가 복지 IT 시스템에 대한 "독립적 보증 검토" 보고서 작성을 의뢰했다. 올해 초 발표된 최종 보고서에는 조작된 학술 인용, 잘못 귀속된 인용구, 존재하지 않는 저작물을 참조하는 각주가 포함되어 있었다고 언론 보도에 따르면 밝혀졌다. 딜로이트는 나중에 마이크로소프트의 (MSFT) Azure 오픈ai GPT-4o 모델이 보고서 일부 작성에 사용되었다고 인정하고 정부의 최종 지불금을 환불하기로 합의했다.

딜로이트는 보고서의 전반적인 결과와 권고사항은 "영향을 받지 않았다"고 주장하지만, 평판 손상은 이미 발생했다고 볼 수 있다. 주요 정부 고객, 공개적인 환불, 그리고 딜로이트를 AI 환각과 연결하는 헤드라인은 AI 기술과 관련된 위험에 대한 새로운 수준의 가시성을 부각시켰다.

스타트업, 연구 프로젝트 또는 내부 실수에 국한되었던 이전의 AI 논란과 달리, 이번 사건은 소위 "빅4" 기업을 강타했다. 이는 가장 신뢰받는 글로벌 거대 기업들의 업무 흐름에도 AI가 얼마나 깊숙이 스며들어 있는지를 보여준다.

우연히도 딜로이트는 2030년까지 생성형 AI 개발에 30억 달러를 투자하겠다고 약속했다. 서비스 기업으로서는 이례적인 수준의 투자다. 그런 기업의 보고서가 환불을 해야 할 정도로 기준에 미치지 못했다는 것은 가장 야심찬 AI 투자자들조차 AI의 가장 기본적인 결함에 취약하다는 놀라운 상기시켜준다. 이번 사건은 또한 기업 이사회, 투자자, 규제 당국 모두에게 AI를 더 이상 배경적인 효율성 도구로 취급할 수 없으며, 이제 중대한 사업 위험이라는 경고 역할을 한다.

전문 서비스 부문에 대한 시사점

딜로이트의 실수는 액센츄어 (ACN), 캡제미니 (CAP), 타타 컨설턴시 서비스 (TCS), 인포시스 (INFY), CGI (GIB) 같은 동종 기업들에게 경고의 교훈이 되어야 한다. 이들 기업의 핵심 사업은 고객이 중요한 결정을 내리는 데 사용하는 정보를 수집, 분석, 전달하는 것에 달려 있다. "전문 서비스"는 특정 분야의 훈련받은 전문가인 직원들이 제공하는 전문적이고 지식 기반의 서비스를 의미한다. 이들 기업은 물리적 제품보다는 전문성, 조언 또는 기술적 기능을 판매한다.

이 경고는 딜로이트와 마찬가지로 성과, 신중함, 신뢰성, 데이터 정확성, 비용에 평판이 달려 있는 3개의 대형 경쟁사인 프라이스워터하우스쿠퍼스, 언스트 앤 영, KPMG에도 확대된다.

만약 이들의 결과물에 검증되지 않았거나 잘못된 내용이 포함된다면, 이들 역시 환불 요구, 프로젝트 취소, 수익 손실, 법적 노출에 직면할 수 있다. 전문 서비스에서 신뢰성은 통화와 같으며, 특히 조잡하게 수행된 편법은 신성모독으로 여겨진다.

잘못된 장소에서 잘못된 시기에 발생한 단 하나의 검증된 오류나 고객 대면 문서의 환각된 참조조차도 계약 무효화, 평판 손상, 향후 모든 계약에 대한 더 엄격한 감시를 촉발할 수 있다. 수십 년, 심지어 수 세기의 신뢰를 바탕으로 거래하는 기업들에게 신뢰성의 침식은 환불보다 훨씬 더 비용이 클 수 있다.

신뢰의 증가하는 비용

44만 호주달러 환불은 딜로이트 같은 글로벌 거대 기업에게는 사소한 일이다. 하지만 정확성과 기밀성을 바탕으로 구축된 업계에서 평판의 상처는 더 깊게 파고든다. 특히 정부 고객과 금융 기관들은 이제 "결과물"을 수용하고 계약상 지불 의무를 지기 전에 AI 공개 조항, 완전한 감사 추적 또는 인간 검증 진술서를 요구할 수 있다.

컨설팅 기업들은 또한 신뢰성을 유지하기 위해 검증, 문서화, 감사 프로세스에 대한 대규모 투자가 필요한 새로운 "AI 신뢰 프리미엄"에 직면할 가능성이 높다. 이러한 비용은 마진을 침식하고 AI 도구 채택을 늦출 수 있다. 본질적으로 AI의 더 많은 사용은 이제 의도한 대로 작동하는지 확인하기 위해 더 많은 인간 감독을 요구한다. 이는 묘하게 친숙한 느낌의 역설이다.

첫 번째 환불, 하지만 마지막은 아닐 것

딜로이트 사건은 기업 책임의 새로운 장의 시작을 알리며, 확장하면 AI에 대한 상업적 책임의 시대를 의미한다. 딜로이트의 환불은 재정적으로는 미미할 수 있지만, 상징적 무게는 엄청나며 전환점으로 기억될 가능성이 높다. 2025년 10월은 기업들이 후배 직원들이 유료 고객이나 대중에게 AI 기반 자료를 배포하도록 권한을 부여하는 것이 가장 심각한 결과를 초래할 수 있다는 것을 깨달은 순간으로 기억될 수 있다. 현재로서는 경고의 신호탄 역할을 하지만, 모든 이사회에서 들을 수 있을 만큼 충분히 큰 소리다.

하지만 주목할 만한 또 다른 관점이 있다. 딜로이트 사건은 AI가 최고급 고객, 특히 주목받는 공공 부문 계약에서 조잡한 콘텐츠를 생성하는 데 사용될 때 혁신과 과실 사이의 간격이 좁아진다는 것을 보여준다. 한때 실험으로 통했던 것이 이제는 인간이 생산한 모든 작업에 기대되는 것과 같은 엄격함, 책임감, 투명성을 요구한다.

궁극적으로 문제는 책임으로 귀결된다. 딜로이트가 결함이 있는 보고서를 제출한다면, 누구를 탓해야 할까? 그것을 작성한 직원인가, 오류를 생성한 AI 시스템인가, 시스템을 구성한 엔지니어인가, 아니면 그것을 승인한 마지막 관문의 사람인가? AI는 한때 간단했던 것을 복잡하게 만들었다. 사람들이 작업을 생산하고, 사람들이 책임을 졌다. 이제 기업들은 모든 AI 출력을 검증하고 감사하려는 경향을 느낄 수 있으며, 종종 이전보다 더 많은 인간 감독에 의존한다. 이는 아이러니하게도 AI가 약속했던 바로 그 효율성 향상을 훼손한다. 정말로 얽힌 그물이다.

명확해지고 있는 것은 AI가 경쟁력을 유지하는 데 필수적이 되면서, 액센츄어, 캡제미니, TCS, 인포시스, CGI, 그리고 "빅4"와 같은 기업들이 겉보기에 불가능한 균형 잡기에 직면하고 있다는 것이다. 이들은 엄격함을 희생하지 않으면서 속도와 효율성을 추구해야 하며, 동시에 꾸준한 수익 성장을 유지해야 한다.

AI 없이는 기업이 동종 업체들에 뒤처질 위험이 있고, AI와 함께라면 너무 빨리 움직여 비용이 많이 드는 실수를 할 위험이 있다. 이는 전형적인 딜레마 상황이다. 모든 시장 부문을 동시에 빠르게 재편하고 있는 AI 혁명을 전문 서비스 틈새 시장이 어떻게 헤쳐나갈지를 정의할 것이다.