하이브리드 전문가(MoE)란 무엇인가요? 왜 많은 인기 모델들은 매개변수가 크지만 활성화량은 그리 크지 않을까요?
전문가 혼합(Mixture of Experts, MoE)은 "매번 전체 모델을 조립하지 않는" 모델 아키텍처입니다. 가장 중요한 기능은 모델의 일부 계층이 여러 전문가 모듈로 나뉘고, 라우터가 현재 토큰이 어떤 전문가를 선택할지 결정한다는 점입니다. 이렇게 하면 모델의...
AI 백과사전 • Admin •
68
모델 아키텍처
Found 4 related articles
확산 LLM이란 무엇인가요? 왜 항상 트랜스포머의 자율회귀 경로에 도전하는 데 사용되는가
확산 LLM은 전통적인 자기회귀 모델처럼 한 번에 한 토큰씩 작성하는 대신 점진적인 노이즈 제거 및 점진적 보정 방식으로 텍스트를 생성하는 '확산 모델'의 핵심 아이디어를 언어 모델에 전달하는 것으로 이해할 수 있습니다. 최근 많이 언급되고 있는데, 트랜스포머 경로를 ...
AI 백과사전 • Admin •
95
스퍼스 어텐션이란 무엇인가요? 왜 긴 맥락과 추론 비용 문제들이 항상 이 문제를 이야기하는지
희소주의는 간단히 이해할 수 있습니다: 각 토큰이 모든 토큰을 살펴보는 대신, 선택적으로 일부만 살펴보게 하는 것입니다. 이 용어는 긴 맥락과 추론 비용 논의에서 반복적으로 등장하는데, 표준 전면 집중이 강하지만, 맥락이 특히 길어지면 계산과 비디오 메모리 비용이 급격...
AI 백과사전 • Admin •
83
트랜스포머란 무엇인가요? 왜 거의 모든 대형 모델이 그 위에 만들어지는 걸까요?
트랜스포머는 신경망 아키텍처입니다. 이름이 중요해서가 아니라, '병렬 처리'와 '맥락 모델링'을 잘 수행하기 때문입니다. 오늘날 볼 수 있는 대부분의 대형 언어 모델은 이 모델이나 그 변형들과 떼려야 뗄 수 없습니다. 트랜스포머 이전에는 많은 모델들이 루프 구조에 더 ...
AI 백과사전 • Admin •
93