트랜스포머란 무엇인가요? 왜 거의 모든 대형 모델이 그 위에 만들어지는 걸까요?
트랜스포머는 신경망 아키텍처입니다. 이름이 중요해서가 아니라, '병렬 처리'와 '맥락 모델링'을 잘 수행하기 때문입니다. 오늘날 볼 수 있는 대부분의 대형 언어 모델은 이 모델이나 그 변형들과 떼려야 뗄 수 없습니다. 트랜스포머 이전에는 많은 모델들이 루프 구조에 더 ...
AI 백과사전 • Admin •
92
Found 2 related articles
트랜스포머는 신경망 아키텍처입니다. 이름이 중요해서가 아니라, '병렬 처리'와 '맥락 모델링'을 잘 수행하기 때문입니다. 오늘날 볼 수 있는 대부분의 대형 언어 모델은 이 모델이나 그 변형들과 떼려야 뗄 수 없습니다. 트랜스포머 이전에는 많은 모델들이 루프 구조에 더 ...
주의 메커니즘은 단순히 모델이 정보를 처리할 때 "핵심 지점을 보는 법"을 학습한다는 의미입니다. 사람이 단락을 읽을 때 각 단어를 똑같이 바라보지 않으며, 모델도 동일합니다: 과제에 따라 단어나 조각에 다른 가중치를 부여합니다. 가중치가 높은 콘텐츠는 결과에 더 큰 ...