엔비디아 AI, GPU를 넘어 데이터센터 효율화

엔비디아는 최근 데이터센터 시스템을 통해 GPU 외에도 효율적인 트래픽 제어로 AI 작업의 속도와 효과를 크게 향상시키고 있습니다. 이는 GPU를 넘어 데이터센터의 운영 효율성을 극대화하는 데 중점을 두고 있습니다. 엔비디아는 Vera Rubin 아키텍처를 출시하여 Rubin GPU와 Vera CPU, Groq 3 LPX 추론 가속기 등을 결합한 시스템을 제공합니다. 이 시스템은 GPU 외부의 모든 것이 최대한 효율적으로 작동하도록 보장하는 역할을 합니다.

특히 Vera CPU는 데이터 오케스트레이션(조율)에 중점을 두고 있습니다. 엔비디아의 스토리지 기술 부사장인 제이슨 하디는 "Vera는 단일 서버나 컴퓨팅 플랫폼에 넣을 수 있는 메모리의 한계를 극복하기 위해 중요하다"고 설명했습니다. 데이터센터의 컴퓨팅 파워가 확장됨에 따라 메모리 용량도 증가했지만, 데이터를 GPU에 적시에 전달하는 것은 여전히 복잡한 문제입니다. Vera CPU는 이러한 문제를 해결하여 최대 3배의 운영 개선을 이루었습니다.

엔비디아의 접근 방식은 데이터 이동을 최소화하여 효율성을 높이는 것입니다. 이는 OpenAI의 Jalapeño 칩과 유사한 접근 방식으로, 데이터 이동과 통신 지연을 최소화하여 전체 작업을 하나의 연결된 시스템 내에서 처리합니다. 이러한 스마트 트래픽 제어는 단순히 프로세서 사이클을 늘리는 것이 아니라, 효율성을 높이는 새로운 인프라 경쟁의 장을 열고 있습니다.