Hugging Face, 악성 AI 모델 차단 어려움 직면

Hugging Face가 비동의 딥페이크 생성에 사용되며 논란이 되고 있습니다. AI Forensics의 보고서에 따르면, Hugging Face가 호스팅하는 이미지 편집 모델 중 상위 9개 중 7개가 여성의 옷을 벗기는 요청에 쉽게 응답했다고 합니다. 이는 플랫폼 차원에서 아무런 안전장치도 구현되지 않았다는 것을 보여줍니다. 이러한 문제는 Hugging Face의 정책과 상충되며, 플랫폼이 콘텐츠를 필터링할 수 있는 능력을 갖추고 있음에도 불구하고 이를 충분히 활용하지 않고 있다는 지적을 받고 있습니다.

AI Forensics는 Hugging Face에 대한 연구를 통해, 해당 플랫폼에서 생성된 이미지 요청의 73%가 성적 성향을 띠고 있으며, 그 중 83%는 누군가의 이미지를 벗기는 것을 시도했다고 밝혔습니다. 특히, 이러한 성적 요청의 95%는 여성을 대상으로 했고, 약 7%는 아동을 대상으로 했다고 합니다. 이는 Hugging Face의 정책에서 명시적으로 금지하는 내용과 일치하지 않는 결과입니다.

AI Forensics는 Hugging Face가 프롬프트 수준의 필터링과 출력 수준의 스캐닝 안전장치를 도입할 것을 권고하고 있습니다. 이러한 조치는 성적 편집 요청과 유해한 콘텐츠를 차단할 수 있는 방법으로 제안되고 있습니다. 그러나 이미 발생한 피해를 되돌릴 수는 없으며, 이는 Hugging Face의 불충분한 보호 조치로 인해 발생한 문제입니다.