ByteDance, 10조 파라미터 AI 모델로 Anthropic 도전

ByteDance가 10조 파라미터 규모의 AI 모델을 개발 중입니다. 이는 Anthropic의 최신 AI 시스템인 Mythos와 비슷한 규모로, 중국 기업들이 미국의 선두 AI 연구소와의 격차를 좁히기 위한 노력의 일환입니다. ByteDance는 독립적인 개발만이 경쟁자를 능가할 수 있는 모델을 만들 수 있다고 믿고 있으며, 이를 위해 독자적인 접근 방식을 채택하고 있습니다.

현재 ByteDance의 AI 모델은 중국에서 가장 큰 모델인 Moonshot의 Kimi K3보다 세 배 큰 규모로 훈련 중입니다. 이 모델은 사전 훈련 단계에 있으며, 이 단계는 일반적으로 3개월에서 6개월이 소요됩니다. 이 과정이 성공적으로 완료되면 모델은 세부 조정을 거쳐 공개될 예정입니다. Anthropic의 모델 크기는 공개되지 않았지만, 업계 추정에 따르면 Mythos 5는 약 8조 파라미터를 가지고 있습니다.

ByteDance는 AI 개발에서 상대적으로 조용한 행보를 보여왔으나, 최근에는 AI 데이터 센터 확장과 연구 인력 채용에 적극적으로 투자하고 있습니다. 이 회사는 또한 맞춤형 AI 칩 개발에도 관심을 보이고 있습니다. ByteDance의 AI 개발팀은 전 Google DeepMind 과학자 Wu Yonghui가 이끄는 Seed 팀으로, 약 2,000명의 연구원과 엔지니어로 구성되어 있습니다.