Transformer 아키텍처

Transformer가 대규모 모델의 기본 구조가 된 이유는 어텐션이 임의의 두 위치를 직접 잇고 학습을 병렬화하기 쉽기 때문입니다. 비용도 분명해 계산량이 시퀀스 길이의 제곱으로 늘어 긴 문맥이 비싸집니다. 확산 언어 모델과 단일 스트림 확산은 한 토큰씩 생성하는 비효율을 없애거나 텍스트와 이미지를 하나의 생성 경로로 묶으려 합니다. 그 절충과 구조 변경이 이득이 되는 지점을 정리할 필요가 있다.