클라우드플레어, AI 크롤러 차단 기능 도입...콘텐츠 제작자들 환영

클라우드플레어(NET)가 주요 인터넷 인프라 기업 중 최초로 허가받지 않은 AI 봇의 웹사이트 접근을 자동 차단하는 기능을 도입했다고 발표했다. 이에 따라 클라우드플레어에 새로 가입하는 웹사이트는 기본적으로 AI 크롤링이 차단된다. 웹사이트 운영자들은 이후 AI 학습, 검색, 추론 등 목적에 따라 AI 봇의 접근을 허용할지 여부를 결정할 수 있다. 이는 콘텐츠 제작자들이 보상이나 트래픽 없이 무단으로 콘텐츠를 사용당하는 대신, 자신들이 제공하는 가치에 대한 혜택을 받을 수 있도록 하기 위한 조치다.
과거 검색엔진은 웹 콘텐츠를 색인화하고 사용자를 원본 사이트로 보내 제작자들이 광고 수익을 올리고 독자층을 확대할 수 있도록 했다. 하지만 AI의 등장으로 상황이 바뀌었다. AI 봇들은 출처를 밝히거나 원본 사이트로 트래픽을 유도하지 않은 채 텍스트와 이미지를 수집해 AI 생성 답변에 활용하고 있다. 하루 수조 건의 요청을 처리하는 클라우드플레어의 방대한 네트워크는 사람과 봇을 구분할 수 ...............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................