AI 데이터 수집, 대형 테크 기업 '옵트아웃' 지원

대형 테크 기업들이 AI 데이터 수집에서 게시자들이 선택적으로 참여를 거부할 수 있는 새로운 표준을 지원하기로 했습니다. OpenAI, Google, Microsoft, 그리고 Anthropic은 게시자들이 AI 크롤러가 사이트를 스크래핑(데이터 수집)할 수 없도록 설정하는 새로운 정책 토큰을 도입할 예정입니다. 이 토큰은 웹사이트의 robots.txt 파일에 포함되어, 여러 AI 회사에 걸쳐 AI 훈련 선호도를 적용할 수 있도록 합니다.

이 새로운 표준은 게시자들이 AI 크롤러의 무단 스크래핑에 대처하기 위해 도입되었습니다. 현재 일부 기업과 조직은 Really Simple Licensing(RSL) 표준을 통해 크롤러에게 요금을 부과하거나, Cloudflare를 통해 AI 크롤러를 기본적으로 차단하는 방법을 사용하고 있습니다. OpenAI, Google, Microsoft, Anthropic은 이 토큰을 발견하면 AI 크롤러의 접근을 제한할 것이라고 밝혔습니다. Meta의 커뮤니케이션 책임자 Andy Stone도 이 설정에 대한 지지를 표명했으나, 실제로 이를 준수할지는 명확히 밝히지 않았습니다.

Microsoft는 게시자들이 AI 훈련 또는 AI 그라운딩(정보 출처를 검증하는 과정)에서 선택적으로 참여를 거부할 수 있는 세부적인 제어 기능을 제공할 예정입니다. Google은 이미 유사한 제어 기능을 도입하여, 사이트가 AI 검색 기능에 나타나거나 AI 훈련에 사용될지를 제어할 수 있도록 하고 있습니다. Anthropic은 이미 이 신호를 채택했으며, Google과 Microsoft는 내년에 이를 지원할 계획입니다. OpenAI는 "앞으로 몇 달 안에" 이를 구현할 것이라고 발표했습니다.