왜 순수 MoE보다 더 안정적인가요?

DeepSeek 엔그램 해석: O(1)를 사용하여 조건부 기억을 검색하여 대형 모델에 "새로운 희소 축"을 추가하세요

1. 초록 Engram은 DeepSeek의 오픈소스 "조건부 메모리" 모듈로, 핵심 아이디어는 Transformer에 확장 가능한 형태 조회 메모리 원시 기능을 추가하는 것입니다: 더 정적인 패턴/지식의 일부는 N그램 메모리 테이블 형태로 저장되며, 추론 중 대략 O(...