NVIDIA, 모델 간 트래픽 최적화 도구 출시

NVIDIA가 새로운 도구 Switchyard를 출시했습니다. 이 도구는 모델과 공급자 간의 트래픽을 최적화하는 기능을 제공하며, OpenAI와 Anthropic API 간의 프로토콜 변환을 지원합니다. 이를 통해 다양한 AI 모델을 사용하는 사용자들이 원활한 API 호환성을 유지하면서도 유연하게 모델을 선택할 수 있습니다.

Switchyard는 Rust 기반의 프록시 및 라이브러리로, LLM(대규모 언어 모델) 트래픽을 관리합니다. 이 도구는 OpenAI Chat, Anthropic Messages, OpenAI Responses 형식 간의 변환을 수행하며, 여러 모델 간의 트래픽을 분산시키는 기능을 가지고 있습니다. 또한, 사용자가 직접 작성한 알고리즘을 통해 커스터마이즈된 라우팅을 구현할 수 있어 비용 효율성을 높일 수 있습니다.

이 도구는 현재 프리 알파(pre-alpha) 버전으로, 빠르게 발전하고 있으며 API와 알고리즘이 v1.0 버전이 출시되기 전까지 크게 변화할 예정입니다. 사용자는 Switchyard를 독립형 프록시로 실행하거나, Rust 애플리케이션에 라우팅을 내장할 수 있습니다. 이를 통해 다양한 AI 모델을 활용한 마케팅 실험을 최적화할 수 있는 기회를 제공합니다.