Anthropic은 2026년 11월 2일 미국 증권거래위원회에 수정된 상장 서류를 제출하면서 위험 요인 항목에 이례적인 경고를 추가했습니다. 회사 내부 추정에 따르면 향후 모델이 자사의 '책임 있는 확장 정책(Responsible Scaling Policy)'에서 정의한 'AI로 인한 극적으로 가속된 진전'에 곧 도달할 수 있다는 내용입니다. Anthropic은 동시에 현재 어떤 모델도 해당 임계값을 초과한 것으로 지정되지 않았으며, 경고는 이미 출시된 Claude가 아니라 향후 모델을 겨냥한 것이라고 강조했습니다.
새로 추가된 문장은 도대체 무엇을 경고하는가
이 임계값이 가리키는 것은 재귀적 자기개선, 즉 AI가 더 강력한 AI를 만드는 것을 도와 능력 향상이 안전, 정렬, 보안 조치가 따라잡는 속도보다 빨라질 수 있는 상황입니다. Anthropic은 서류에서 과거에 능력의 도약이 사후에야 인식된 사례가 있었다고 인정합니다. TechCrunch가 인용한 서류 문구는 AI를 이용해 더 강력한 AI를 만드는 것을 돕는 행위가 특히 진전이 급격히 가속될 경우 상당한 안전 위험을 초래할 수 있다고 적고 있습니다. Anthropic은 또한 의미 있는 인간의 감독과 이해 없이 Claude가 차세대 프런티어 모델을 완전히 자율적으로 설계하고 구축하도록 둘 것으로 예상하지 않으며, 프런티어 모델 개발에서 인간의 통제권을 유지하기 위해 '책임 있는 확장 정책' 업데이트를 검토 중이라고 밝혔습니다.
왜 이 경고가 상장 서류에 등장했는가
수정 서류는 10월 26일의 최초 상장 서류를 보완하는 것으로, 3분기 실적이 추가됐습니다. 수정 서류는 또한 컴퓨팅 및 인프라 관련 계약상 약정이 약 8,954억 달러에 이른다고 공시했습니다. 확장 약정과 속도를 늦춰야 할 수도 있는 안전 장치가 공존한다는 점이 투자자들이 이 경고에 주목해야 할 배경입니다. 회사는 막대한 컴퓨팅을 확보하는 한편 자사의 평가가 연구 속도를 따라가지 못할 수 있음을 인정하고 있습니다. 경계 역시 서류의 논리에서 똑같이 분명합니다. 임계값의 정의는 Anthropic 스스로 쥐고 있으며, 임계값에 가깝다는 주장은 향후 모델에 대한 내부 추정치로 외부 검증을 받지 않았습니다. 외부에서 검증할 수 있는 것은 서류의 문구 자체이지, 모델이 임계값에서 얼마나 떨어져 있는지가 아닙니다.
이 경고의 가치는 AI 자기개선이 언제 도래할지를 예언하는 데 있지 않고, 프런티어 연구소가 '우리 자신의 진전을 따라가지 못할 수도 있다'는 문구를 상장 서류에 정식 위험으로 적었다는 데 있습니다. 다음으로 지켜봐야 할 것은 Anthropic이 실제로 '책임 있는 확장 정책'을 업데이트하는지, 그리고 인간의 감독이 연구 속도에 뒤처지지 않았음을 투자자에게 어떻게 증명하는지입니다.
