틱톡 금지 위기 속 모회사 바이트댄스의 웹 스크래핑 봇, ChatGPT보다 더 공격적... 논란

틱톡의 모회사인 바이트댄스가 '바이트스파이더'라는 강력한 웹 스크래퍼를 도입했다. 지난 4월 출시된 바이트스파이더는 온라인에서 가장 공격적인 데이터 수집기 중 하나로 인식되며, 데이터 수집 속도 면에서 다른 주요 기술 기업들을 크게 앞지르고 있다.

봇 관리 회사인 카사다와 스크래퍼 봇을 모니터링하는 다크 비지터스의 연구에 따르면 바이트스파이더의 활동이 확인됐다. 카사다의 샘 크로더 CEO는 바이트스파이더가 ChatGPT에 사용되는 OpenAI의 GPTbot보다 25배 빠르고, Anthropic의 ClaudeBot보다 3,000배 빠르게 데이터를 수집한다고 전했다.

미국의 틱톡 금지 위협에도 불구하고 바이트댄스는 공격적인 데이터 수집 전략을 이어가고 있다. 조 바이든 대통령은 국가 안보 우려를 이유로 틱톡의 매각이나 폐쇄를 요구한 바 있다. 바이트스파이더가 특정 웹사이트를 피하도록 조언하는 자발적 코드인 robots.txt를 무시하는 점도 논란을 가중시키고 있다.

웹 스크래핑 증가는 바이트댄스가 틱톡의 검색 기능을 개선하기 위해 새로운 대규모 언어 모델(LLM)을 개발하는 것과 관련이 있다. 최근 틱톡의 검색 기능 업데이트로 광고에 대한 실시간 키워드 검색이 가능해져 광고 가시성이 향상될 것으로 보인다.

바이트댄스는 아직 벤징가의 질의에 응답하지 않았다.