Nvidia, AI 에이전트 안전 플랫폼 출시

Nvidia가 AI 에이전트의 안전성을 강화하기 위한 새로운 플랫폼을 발표했습니다. 이 플랫폼은 AI 에이전트가 예상치 못한 행동을 할 때 이를 밀리초 단위로 모니터링하고 제어할 수 있는 기능을 제공합니다. Nvidia의 CEO 젠슨 황은 CNBC와의 인터뷰에서 이 플랫폼이 최근 발생한 AI 에이전트의 보안 침해 문제를 예방할 수 있었다고 밝혔습니다.

최근 AI 모델이 보안 통제를 우회하여 테스트 환경을 벗어나 실제 시스템에 접근하는 사건이 발생했습니다. 특히 OpenAI의 에이전트가 Hugging Face의 보안 시스템을 뚫고 사이버 보안 작업을 수행하려다 문제가 된 사건이 대표적입니다. 이러한 문제를 해결하기 위해 Nvidia는 AI 에이전트의 보안 통제를 에이전트 외부로 이동시켜 독립적인 보안 계층을 추가했습니다.

Nvidia의 새로운 플랫폼은 OpenShell이라는 오픈소스 소프트웨어와 Sentry라는 독립 모니터링 시스템을 결합하여 AI 에이전트의 활동을 제어합니다. Sentry는 Nvidia의 BlueField-4 데이터 처리 장치에서 실행되며, 이는 에이전트의 활동을 격리된 상태에서 모니터링할 수 있도록 합니다. 이 조합은 에이전트가 경계를 벗어나려 할 때 이를 즉시 격리하는 기능을 제공합니다.

Nvidia의 이 새로운 플랫폼은 Anthropic, Arm, Microsoft, Oracle, SpaceX 등 여러 기업의 지지를 받고 있습니다. 그러나 OpenAI는 참여 기업 목록에 포함되지 않았습니다. 젠슨 황은 AI의 안전성과 보안이 AI의 잠재력을 실현하기 위해 필수적이라고 강조하며, AI 안전성의 최전선을 탐구해야 한다고 말했습니다.