ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI 정보
OpenAI Performance Factory 가동: Codex 에이전트가 성능 저하를 자동 복구하며 3개월 만에 1700건 이상 처리

OpenAI Performance Factory 가동: Codex 에이전트가 성능 저하를 자동 복구하며 3개월 만에 1700건 이상 처리

AI 정보 • Admin • • 23 회 조회

OpenAI의 Performance Factory는 성능 문제를 고치는 일을 에이전트 조립 라인으로 바꿨다. 2026년 11월 19일, OpenAI는 공식 블로그를 통해 Codex를 핵심으로 하는 이 자동화 시스템이 사내에서 3개월 넘게 가동되며 1700건이 넘는 성능 저하 조사를 처리했고, 그중 600건 이상에서 근본 원인을 찾았다고 밝혔다. 엔지니어는 더 이상 알림을 일일이 따라다니지 않고 핵심 판단 지점에서만 개입한다.

알림부터 검증까지, 어떻게 진행되나

가장 먼저 가동된 흐름은 '회귀 워크플로'다. 성능 알림이 울리면 자동으로 작업이 생성되고, 에이전트는 먼저 지표가 언제부터 나빠졌는지, 어떤 요청에 영향을 미쳤는지 파악한 뒤 배포·설정 변경과 대조하고 관련 코드를 읽어 원인을 찾는다. 진단이 통과되면 에이전트가 수정안을 작성해 풀 리퀘스트를 열고, 엔지니어가 검토 후 병합한다. 배포가 끝나면 다른 에이전트가 성능이 기준선으로 돌아왔는지 확인하고, 확인돼야 사건이 종결된다. 이 연결고리를 지탱하는 것은 네 가지 요소다. 설정 가능한 워크플로를 갖춘 작업 서비스, 작업을 배정하는 디스패치 루프, 클라우드에서 Codex를 실행하는 API, 그리고 코드 리뷰나 배포 완료 같은 이벤트가 발생하면 에이전트를 깨우는 구독 기능이다. 엔지니어는 장애 조사 경험을 perf-forensics라는 스킬로 정리했고, 에이전트는 같은 방식을 반복하며 하루 평균 17건의 조사를 처리한다. OpenAI, Codex 샌드박스 상세 공개: 컨테이너가 아니라 시스템 고유 메커니즘으로 에이전트를 가둔다는 Codex가 제한된 환경에서 동작하는 방식을 소개한 글로, 이런 자동화를 안심하고 돌릴 수 있는 전제 조건이다.

진단 10건 중 7건은 정확, 수정안을 안착시키는 것이 가장 어렵다

OpenAI는 이 시스템의 약점을 숨기지 않는다. 근본 원인 제안 100건을 사람이 직접 검토한 결과 70건이 정확한 것으로 평가됐고, 나머지 30건은 추가 다듬질이 필요하거나 인과관계를 완전히 입증하지 못했다. 이를 잡기 위해 팀은 '적대적 검토'를 추가했다. 별도의 Codex 세션이 진단 결론을 반증하려 시도하는 것이다. 예컨대 영향을 받지 않은 유사 요청이 정말 건강한 상태였는지, 롤백 후 지표가 회복됐는지 확인한다. 원인을 찾는 것보다 고치는 것이 더 어렵다. 에이전트가 제안하는 변경은 때로 필요 이상으로 복잡하거나 새로운 문제를 만들며, 캐시 추가 같은 아키텍처 판단은 여전히 엔지니어의 몫이다. 모든 수정 제안 역시 같은 적대적 검토를 거치며, 저위험 변경만 앞으로 사람 손을 거치지 않고 배포될 가능성이 있다.

다음으로 OpenAI가 구축하는 것은 평가 루프다. 에이전트가 제안한 수정안과 엔지니어가 최종적으로 병합한 변경을 하나하나 대조하고, 평가 세트를 만들어 워크플로를 개선하며, 합성 성능 테스트를 통해 에이전트가 제출 전에 수정안을 스스로 검증하게 한다. 이 방식이 자리 잡으면 성능 엔지니어링은 '사람이 문제를 찾는 일'에서 '에이전트가 문제를 찾고 사람이 판단하는 일'로 바뀐다. 대규모 서비스를 운영하는 다른 팀에게 이 작업 방식 자체가 구체적인 숫자보다 더 참고가 될 것이다.

추천 도구

더보기