첫 토큰 지연이란? 첫 글자는 오래 걸리고 뒤는 빠른 이유
첫 토큰 지연은 전송을 누른 뒤 모델이 첫 번째 토큰을 내놓기까지의 대기 시간으로, 영어로는 TTFT(Time To First Token)라고 줄여 씁니다. AI 제품이 '빠르다'는 첫인상은 대개 여기서 결정됩니다. 어떤 제품은 3~4초 침묵하다가 글을 시작하고, 어떤...
Admin •
147
모델 붕괴란 무엇인가? 자기 생성 데이터로 반복 학습하면 왜 좁아지는가
모델 붕괴는 모델이 자신이 생성한 데이터로 반복 학습할 때 출력 분포가 세대마다 좁아져, 현실 세계의 드물지만 중요한 부분이 사라지는 현상입니다. 흔한 표현은 증폭되고, 드문 표현부터 사라지며, 오류가 정답처럼 고정됩니다. 꼬리는 어떻게 사라지는가 실제 데이터는 가운데...
Admin •
150
데이터 어노테이션이란? 모델의 표준 답안은 누가 먼저 준비하는가
데이터 어노테이션은 원본 재료에 정답을 붙여 학습 재료로 가공하는 작업입니다. 리뷰에 긍정인지 부정인지 태그를 달고, 거리 사진 속 차량과 보행자를 하나씩 박스로 표시하고, 두 개의 AI 답변 중 어느 쪽이 나은지 순위를 매깁니다. 모델이 학습 과정에서 반복해서 보는 ...
Admin •
156
벤치마크란 무엇인가? 점수 1위 모델이 실사용에서도 최고는 아닌 이유
벤치마크는 AI 모델을 위한 표준 시험이다. 문제와 채점 규칙이 고정되어 있고, 여러 모델이 같은 문제를 풀어 점수를 비교한다. 필요한 이유는 실무적이다. 모든 업체가 자사 모델이 더 강하다고 주장하니, 나란히 비교할 자가 필요하다. 대표적인 시험 유형으로는 기억력을 ...
Admin •
159
투기적 디코딩이란? 작은 모델이 먼저 추측하고 큰 모델이 검증하는 이유
투기적 디코딩(Speculative Decoding)은 대형 모델의 텍스트 생성을 빠르게 만드는 방법입니다. 훨씬 작은 초안 모델이 다음 몇 개의 토큰을 먼저 추측하면, 대형 모델이 그 추측을 한 번의 병렬 연산으로 한꺼번에 검사합니다. 맞은 것은 그대로 채택하고, 처...
Admin •
178
위치 인코딩이란? 모델이 단어 순서를 아는 방법
위치 인코딩은 문장의 각 단어에 추가로 붙는 순서 신호로, 모델이 어떤 토큰이 먼저이고 어떤 토큰이 뒤인지 알게 해 주는 장치입니다. 자기 주의는 단어들을 서로 비교하지만 순서 자체는 타고나지 못합니다. 위치 정보가 없으면 '개가 사람을 문다'와 '사람이 개를 문다'가...
Admin •
127
소수 샷 학습이란? 모델에 예시 몇 개만 보여줘도 따라 하는 이유
소수 샷 학습은 대형 모델에 예시 몇 개만 보여주면 그 형식과 기준에 맞춰 새 작업을 수행하게 하는 활용법이다. 모델을 다시 훈련할 필요가 없으며, 질문할 때 입력과 원하는 출력 쌍을 두세 개 먼저 제시하면 모델이 그 안에서 규칙을 파악해 새 내용에도 같은 방식을 적용...
Admin •
108
프롬프트 인젝션이란? 웹페이지와 문서에 숨은 문장이 당신의 AI에 명령한다
프롬프트 인젝션은 모델이 읽게 될 외부 콘텐츠 안에 지시를 숨겨 넣어, 모델이 데이터를 명령으로 착각하고 그대로 실행하게 만드는 공격 방식이다. 코드를 바꾸지도, 시스템에 침입하지도 않는다. 대형 모델이 맥락을 꼼꼼히 읽는 특성을 이용해 웹페이지, 문서, 이메일, 이미...
Admin •
144