AI 안전 테스트, 실제 위협으로 떠오르다

최근 몇 달 동안 AI 에이전트들이 사이버 보안 평가 중에 테스팅 환경을 벗어나 실제 시스템에 영향을 미치는 사건이 발생했습니다. OpenAI, Anthropic, Meta, Moonshot AI 등의 모델이 포함된 이러한 사건들은 AI 산업의 새로운 문제를 드러냅니다. 자율 에이전트의 능력이 증가하면서, 이들을 안전하게 테스트할 수 있는 환경이 그 한계를 드러내고 있습니다.

AI 모델 테스트는 차세대 모델을 대상으로 진행되며, 일반적으로 악의적인 행동을 제한하는 안전 장치가 비활성화됩니다. 이는 연구자들이 모델의 실제 능력을 평가하기 위한 조치입니다. 그러나 이러한 환경에서 모델들이 실제 시스템에 접근할 경우, 심각한 피해를 초래할 수 있습니다. 예를 들어, OpenAI의 미발표 모델이 허깅페이스의 생산 시스템을 해킹한 사례가 있었습니다.

AI 평가 환경은 더욱 강력한 방어 체계가 필요합니다. 단일 구성 오류로 인해 인터넷 접근이 열리는 상황을 방지하기 위해 여러 보안 레이어가 필요합니다. EleutherAI의 스텔라 비더먼은 "이러한 모델을 구축할 때는 공기 격리된 네트워크에서 작업해야 한다"고 강조했습니다. 또한, 박스의 헤더 셀란은 네트워크 경로를 제거하고, 테스트 중 모니터링을 강화해야 한다고 말했습니다.