Priming은 아마존 웹 서비스(AWS) 팀이 2026년 10월 12일 Amazon Science 공식 블로그를 통해 공개한 아키텍처 변환 방법으로, 관련 논문도 같은 날 나왔다. 풀려는 문제는 구체적이다. 새로운 하이브리드 아키텍처를 시험하려면 지금까지는 모델을 처음부터 사전학습해야 했고, 수조 개의 토큰과 수십만 GPU 시간이 들었다. Priming을 쓰면 이미 학습된 Transformer의 가중치를 출발점으로 삼아 일부 어텐션 층을 상태 공간 층으로 교체할 수 있으며, 사전학습 비용이 99% 넘게 줄어든다. 전체 과정이 소비하는 토큰은 원본 모델 사전학습 예산의 0.5% 미만이라고 한다.
Transformer의 기억 비용은 모든 층이 전부를 외우는 데서 온다
Transformer의 어텐션은글자 그대로의 받아쓰기에 가깝다. 토큰을 하나 생성할 때마다 앞의 모든 토큰을 되돌아보며, 캐시는 컨텍스트 길이에 비례해 불어난다. 논문이 말하는 eidetic memory(글자 그대로의 기억)다. 하지만 모든 층이 장거리 검색을 하는 것은 아니다. 가까운 단어와 지역 구조만 좇는 층에게는 고정 크기 요약, 즉 fading memory(감쇠 기억)로 충분하다. 하이브리드 아키텍처의 핵심이 바로 이 분업이다. 전체 회상이 필요한 층에는 어텐션을 남기고, 나머지는 이력을 고정 크기 상태로 압축하는 상태 공간 층으로 바꾼다. 어려웠던 것은 아이디어가 아니라 검증 비용이었다. 비율이나 상태 공간 층 종류를 바꿀 때마다 처음부터 다시 학습하는 비용은 거의 누구도 감당할 수 없었다.
변환은 세 단계: 층 고르기, 맞추기, 전체 적응
Priming의 절차는 세 단계다. 첫째, 층 선택. 각 층을 임시로 슬라이딩 윈도우 어텐션으로 바꿔 보고 성능 하락이 가장 작은 층을 지역 작업 담당, 즉 변환 후보로 지목한다. 둘째, 가중치 이전과 정렬. 원래 어텐션 층의 쿼리, 키, 값 투영을 상태 공간 층 초기화에 그대로 쓰고, 짧은 증류로 새 층이 교체 대상 층의 동작을 흉내 내게 한다. 셋째, 종단 간 적응. 하이브리드 모델 전체를 다음 토큰 예측으로 미세조정해 새 층과 기존 층이 서로 맞춰지게 한다. 팀에 따르면 이 방법은 Qwen, Llama, Mistral 등 서로 다른 Transformer 계열, 밀집 모델과 전문가 혼합 모델 모두, 80억 개부터 320억 개 이상 파라미터 규모에서 작동한다.
상태 공간 층 세 종류의 통제 비교, 결론은 속도만이 아니다
같은 데이터, 같은 예산, 같은 하이브리드 비율이라는 통제 조건에서 세 가지 상태 공간 층의 순위는 안정적이었다. Gated KalmaNet(GKA)이 가장 좋고, Gated DeltaNet이 그다음, Mamba-2가 마지막이었으며 컨텍스트가 길수록 격차가 벌어졌다. GKA 기반 320억 파라미터 하이브리드는 추론 벤치마크에서 원본 Transformer와 사실상 대등했고(정확도 차 1% 이내), 추론 시 KV 캐시는 절반, 128K 컨텍스트에서 디코딩 처리량은 최대 2.06배, 같은 정확도에 도달하는 시간은 최단 원본의 3분의 2 수준이었다. 직관에 반하는 결과도 있다. 모든 상태 공간 하이브리드가 슬라이딩 윈도우 어텐션 버전을 앞섰고, 윈도우 버전에 두 배에서 네 배의 메모리 예산을 줘도 순위는 바뀌지 않았다. GKA만의 특성도 있다. 추론 시 반복 횟수를 조절할 수 있어, 30회에서 10회로 줄이면 AIME 2025 정확도는 약 1% 떨어지지만 디코딩은 10% 빨라지므로, 하나의 모델로 여러 지연 시간 등급을 제공할 수 있다.
모델 모음 공개, 진짜 영향은 아키텍처 탐색 비용에 있다
AWS는 긴 컨텍스트 추론과 지시 수행용으로 80억 개와 320억 개 파라미터 규모의 primed 하이브리드 모델 모음도 함께 공개했다. 훈련 코드, 최적화 커널, vLLM 서빙 플러그인이 포함되며 전부 Apache 2.0 라이선스다. Priming의 의미는 하이브리드 선택지가 하나 늘었다는 데 있지 않고, 아키텍처 탐색의 셈법이 바뀌었다는 데 있다. 시행 비용이 재학습에서 미세조정 수준으로 내려가면, 어떤 층을, 얼마나, 어떤 상태 공간 층으로 바꿔야 하는지라는 질문을 대규모 모델 수준에서 처음으로 체계적으로 검증할 수 있다. 추론 비용에 민감한 운영 측에도 실익이 크다. KV 캐시 절감은 가속기 한 장으로 동시에 처리할 수 있는 긴 세션 수와 직결되기 때문이다. 경계도 분명히 해야 한다. 현재 증거는 모두 AWS 자체 논문과 실험에서 나왔고, 변환 원본은 Qwen3가 중심이며, 다른 계열에서의 효과와 소규모 모델에서의 이득은 외부 재현을 기다려야 한다.
