오픈AI, 1700건 성능 조사로 ChatGPT 개선
오픈AI는 ChatGPT의 성능 저하 원인을 규명하기 위해 1700건 이상의 조사를 진행하고, 600건 이상의 문제를 해결했다고 발표했다.

- ·오픈AI, 1700건 조사로 ChatGPT 성능 개선.
- ·리그레션 워크플로로 성능 저하 원인 규명.
- ·근본 원인 제안 100건 중 70% 정확도.
오픈AI는 ChatGPT의 성능 저하 문제를 해결하기 위해 내부 시스템을 활용하여 1700건 이상의 성능 조사를 진행했습니다. 이 과정에서 600건 이상의 문제를 해결했다고 밝혔습니다. 오픈AI는 '퍼포먼스 팩토리'와 '리그레션 워크플로'라는 시스템을 통해 성능 저하 원인을 추적하고, 자동 조사를 통해 문제를 진단했습니다. 특히, 코덱스 에이전트를 활용하여 성능 저하의 원인을 규명하고 수정안을 제안하는 절차를 도입했습니다.
리그레션 워크플로는 설정된 성능 경보가 발생할 때마다 자동으로 조사 작업을 생성합니다. 코덱스 에이전트는 성능 저하의 원인을 분석하고, 수정안을 제안한 후, 배포 후 성능 회복 여부까지 확인합니다. 이 과정에서 오픈AI는 성능 조사 도구를 30개 이상 개발하여 성능 저하의 원인을 찾아내고 있습니다. 또한, 조사 결과는 한 에이전트의 대화에만 남지 않도록 하여 다른 에이전트나 엔지니어도 앞선 내용을 확인할 수 있게 했습니다.
오픈AI는 근본 원인 제안 100건을 수동 검토하여 70%의 정확도를 기록했습니다. 나머지 30%는 보완이 필요하거나 인과관계가 충분히 입증되지 않은 사례였습니다. 이러한 절차를 통해 오픈AI는 성능 개선을 위한 지속적인 노력을 기울이고 있으며, 경보가 울리기 전 성능 저하를 찾는 사전 모니터링과 일부 저위험 수정안의 자동 배포를 탐색하고 있습니다.
관련 뉴스
관련 소식 찾는 중…