텐센트 훈위안이 Hy4 프리뷰를 공개하고 오픈소스화했습니다. 이 신세대 대표 MoE 대형 모델은 총 파라미터 770B, 토큰당 49B, 네이티브 컨텍스트 길이가 1MB로 늘어났습니다. 텐센트는 단순히 순위를 쫓는 것이 아니라, 코딩, 사무, 게임 개발, 과학 연구 등 실제 생산성 업무에 더 큰 비중을 두고 있습니다.
770B MoE, 100만 개의 맥락을 요구하다
Hy4 미리보기 백본은 78개의 레이어로 구성되어 있으며, 이 중 77개는 MoE를 사용하고, 각 레이어는 256명의 라우팅 전문가와 1명의 공유 전문가로 구성되어 있으며, 각 토큰은 상위 8명의 라우팅 전문가를 활성화합니다. 모델 축소는 투기적 디코딩을 위한 MTP 계층을 추가합니다.
주의 아키텍처는 게이트 DSA를 사용하며, IndexCache가 계층 간 희소 인덱스를 다중화하는 방식을 결합하고, 잔차 경로에 iHC를 도입합니다. 텐센트는 이전 세대와 비교해 Hy4 미리보기가 모델 규모, 맥락, 학습 데이터를 동시에 확장했다고 밝혔습니다.
벤치마킹에서 실제 생산성으로의 전환
텐센트는 AI 프로그래밍, 사무 분석, 게임 개발, 과학 연구 를 Hy4 Preview의 핵심 시나리오로 지정했으며, 내부 소프트웨어 엔지니어, 금융 분석가, 보안 전문가들의 실제 업무를 포함한 학습 데이터를 포함하고 있으며, CodeBuddy 및 WorkBuddy와의 협업도 계속하고 있습니다.
텐센트 내부 블라인드 테스트에서 163명의 전문가가 203개의 엔지니어링 작업을 평가했습니다. Hy4 프리뷰는 평균 2.99/4를 기록했으며, GLM 5.3에 비해 46.8%, Kimi K3에 비해 51.2%의 승률을 기록했습니다. 이 데이터 세트는 텐센트가 단순한 표준화 벤치마크가 아니라 복잡한 작업 완수에 맞춰 모델 경쟁을 추진하고 있음을 보여줍니다.
오픈 소스 무게가 에이전트 생태계를 장악하다
Hunyuan Hy4 오픈소스 는 원래의 가중치와 FP8 버전을 동기화 처리하며, Apache-2.0 라이선스를 사용하고, vLLM 및 SGLang을 통한 배포와 OpenAI 호환 API를 통한 호출을 지원합니다. 이 모델은 Hugging Face, ModelScope, GitCode 등 플랫폼에서 출시되었습니다.
770B의 전체 매개변수 규모는 Hy4 프리뷰가 일반 개인 기기보다는 서버 수준 배포에 더 적합함을 의미합니다. 텐센트에게 오픈 소스는 AI 에이전트, 기업용 사무실, 개발 도구의 모델 기반 자리를 두고 진정한 경쟁을 벌이고 있으며, CodeBuddy와 WorkBuddy는 실제 작업 데이터를 지속적으로 반환할 수 있는 진입구를 제공합니다.
프리뷰 정체성도 개선의 여지를 명확히 남겨둡니다. 텐센트는 현재 버전이 복잡한 작업에 대해 지나치게 긴 사고와 과도한 자기 검증 같은 문제를 여전히 안고 있다고 확인했습니다. 공식 Hy4 버전이 긴 맥락과 복잡한 작업 기능을 유지하면서 추론 비용을 줄일 수 있을지에 따라 "오픈 소스 프런티어 모델"에서 대규모 생산 환경으로 전환할 수 있을지 결정될 것입니다.
