틱톡 금지 위기 속 모회사 바이트댄스의 웹 스크래핑 봇, ChatGPT보다 더 공격적... 논란

틱톡의 모회사인 바이트댄스가 '바이트스파이더'라는 강력한 웹 스크래퍼를 도입했다. 지난 4월 출시된 바이트스파이더는 온라인에서 가장 공격적인 데이터 수집기 중 하나로 인식되며, 데이터 수집 속도 면에서 다른 주요 기술 기업들을 크게 앞지르고 있다.봇 관리 회사인 카사다와 스크래퍼 봇을 모니터링하는 다크 비지터스의 연구에 따르면 바이트스파이더의 활동이 확인됐다. 카사다의 샘 크로더 CEO는 바이트스파이더가 ChatGPT에 사용되는 OpenAI의 GPTbot보다 25배 빠르고, Anthropic의 ClaudeBot보다 3,000배 빠르게 데이터를 수집한다고 전했다.미국의 틱톡 금지 위협에도 불구하고 바이트댄스는 공격적인 데이터 수집 전략을 이어가고 있다. 조 바이든 대통령은 국가 안보 우려를 이유로 틱톡의 매각이나 폐쇄를 요구한 바 있다. 바이트스파이더가 특정 웹사이트를 피하도록 조언하는 자발적 코드인 robots.txt를 무시하는 점도 논란을 가중시키고 있다.웹 스크래핑 증가는 바이트......................................................................................................................................................