딥시크 Engram은 매우 큰 테이블에 대해 호스트 메모리를 오프로드하는 것을 지원하지만, 지연 시간은 기하수형적입니다

DeepSeek 엔그램 해석: O(1)를 사용하여 조건부 기억을 검색하여 대형 모델에 "새로운 희소 축"을 추가하세요

1. 초록 Engram은 DeepSeek의 오픈소스 "조건부 메모리" 모듈로, 핵심 아이디어는 Transformer에 확장 가능한 형태 조회 메모리 원시 기능을 추가하는 것입니다: 더 정적인 패턴/지식의 일부는 N그램 메모리 테이블 형태로 저장되며, 추론 중 대략 O(...