파인튜닝이 모델의 어떤 동작을 실제로 바꾸는지, 프롬프트 최적화·RAG와 비용·효과 면에서 어떻게 다른지 풀어 팀이 학습할 가치가 있는지 판단하게 한다.
모델 붕괴는 모델이 자신이 생성한 데이터로 반복 학습할 때 출력 분포가 세대마다 좁아져, 현실 세계의 드물지만 중요한 부분이 사라지는 현상입니다. 흔한 표현은 증폭되고, 드문 표현부터 사라지며, 오류가 정답처럼 고정됩니다. 꼬리는 어떻게 사라지는가 실제 데이터는 가운데...
데이터 어노테이션은 원본 재료에 정답을 붙여 학습 재료로 가공하는 작업입니다. 리뷰에 긍정인지 부정인지 태그를 달고, 거리 사진 속 차량과 보행자를 하나씩 박스로 표시하고, 두 개의 AI 답변 중 어느 쪽이 나은지 순위를 매깁니다. 모델이 학습 과정에서 반복해서 보는 ...
Pi API는 로봇 파운데이션 모델의 미세 조정과 추론을 호스팅 서비스로 바꿨습니다. 2026년 10월 13일 Physical Intelligence는 공식 블로그를 통해 Pi API 베타 시작을 알렸습니다. 개발자는 자기 로봇 데이터를 올리고, Physical Int...
소수 샷 학습은 대형 모델에 예시 몇 개만 보여주면 그 형식과 기준에 맞춰 새 작업을 수행하게 하는 활용법이다. 모델을 다시 훈련할 필요가 없으며, 질문할 때 입력과 원하는 출력 쌍을 두세 개 먼저 제시하면 모델이 그 안에서 규칙을 파악해 새 내용에도 같은 방식을 적용...
사전 학습은 대형 언어 모델 훈련의 첫 단계입니다. 모델이 대화와 코딩을 배우기 전에, 방대한 텍스트를 놓고 하는 일은 하나, 다음 단어를 반복해서 맞히는 것입니다. 이 단계에서는 예의도, 지시를 따르는 법도 가르치지 않습니다. 언어의 통계적 패턴, 사실 사이의 연결,...
치명적 망각은 신경망이 여러 과제를 차례로 배울 때, 뒤의 과제를 익히는 대신 앞서 배운 것을 넓은 범위에서 잊어버리는 현상입니다. 완성된 모델에 새 분야 데이터로 추가 미세조정을 하면 새 과제 점수는 오르는데, 잘하던 질의응답이나 분류, 특정 언어 실력이 눈에 띄게 ...
Agent Lightning 1.0이 2026년 10월 7일 Microsoft Research Asia에서 오픈소스로 공개됐다. 프레임워크 전체가 약 3,500줄에 불과하다. 이 도구가 겨냥하는 것은 에이전트 강화학습의 오랜 골칫거리다. 지금까지 에이전트를 RL로 훈련...
Nemotron에 대해 NVIDIA 팀이 2026년 10월 7일 Hugging Face 블로그에 총괄 글을 올렸다. 같은 모델 계열을 미세 조정한 두 버전이 2026년 국제정보올림피아드(IOI)와 국제수학올림피아드(IMO)에서 각각 금메달 수준에 도달했고, IOI 점수...
