텍스트 처리

토큰이란 무엇인가요? 왜 AI가 단락을 여러 개의 작은 조각으로 잘라내는 걸까요?

토큰은 모델이 텍스트를 처리할 때 "가장 작은 작업 단위"로 이해할 수 있습니다. 반드시 단어나 구두점이 아니라, 모델 자체가 잘라낸 조각과 같습니다. 영어에서는 단어가 여러 토큰으로 나뉘기도 하고, 중국어에서는 짧은 문장이 여러 토큰으로 나눌 수 있습니다. 이것은 추...