SFT(지도 미세조정)란? 챗봇 모델이 '데뷔 전 교육'을 받는 이유
SFT(Supervised Fine-Tuning, 지도 미세조정)는 챗봇 모델이 '데뷔'하기 전 받는 직무 교육과 같습니다. 수천 건의 '지시-응답' 예시 데이터를 사용해, 사전학습된 대형 모델에게 인간이 기대하는 방식으로 말하고 행동하도록 가르칩니다. 여기서 중요한 ...
Admin •
115
RAG란 무엇인가? 파인튜닝·프롬프트 엔지니어링과의 차이
RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 대형 언어 모델이 답변하기 전에 먼저 자료를 찾아보게 하는 기술이다. 모델은 답변을 생성하기 전에 외부 지식 베이스에서 질문과 관련된 내용을 검색한 뒤, 그 내용을 근거로 답변을 작성한...
Admin •
149
지식 증류: 거대 모델을 '작게 가르치는' 기술, 원리·한계·3가지 오해
지식 증류(Knowledge Distillation)는 이미 학습된 거대 모델(교사 모델)로부터 작은 모델(학생 모델)이 배우는 기술이다. Geoffrey Hinton 등이 2015년 논문 「Distilling the Knowledge in a Neural Networ...
Admin •
123
Chain-of-Thought란? AI에게 먼저 생각하게 한 뒤 답하게 하는 기술
Chain-of-Thought(사고의 연쇄, CoT)는 프롬프트 기법으로, 모델에게 바로 답을 내게 하는 대신 중간 추론 단계를 먼저 쓰게 하고 마지막에 결론을 내게 합니다. 수학 문제를 풀 때 답 숫자부터 내놓는 대신 "미지수 설정→방정식 세우기→풀이" 과정을 먼저 ...
Admin •
196
컨텍스트 윈도우는 크다고 좋은 게 아니다: 1M 토큰 뒤에 숨은 어텐션 비용과 세 가지 오해
컨텍스트 윈도우는 모델이 한 번에 '볼 수 있는' 토큰 총량의 상한입니다. 프롬프트, 대화 기록, 검색으로 가져온 자료, 그리고 모델이 이미 생성한 답변까지 모두 순서대로 하나의 시퀀스에 나열됩니다. 윈도우가 결정하는 것은 모델의 '작업대' 크기이지, 모델이 얼마나 똑...
Admin •
171
Temperature 파라미터란? 온도를 높이면 AI가 더 창의적이 될까
Temperature 파라미터는 거대 언어모델의 출력 무작위성을 조절하는 샘플링 매개변수로, 대부분의 AI 대화 제품의 고급 설정과 API 매개변수 안에 숨어 있다. 평소에는 직접 볼 일이 거의 없지만, 모델의 답변이 엄격하고 수렴적인지, 자유롭고 분방한지를 결정한다....
Admin •
203
Function Calling이란? MCP·플러그인 호출과의 실질적인 차이
Function Calling은 대규모 언어 모델이 외부 기능을 활용하는 가장 일반적인 방식입니다. 개발자는 먼저 JSON Schema로 "어떤 함수가 있고 매개변수는 어떤 형태인지"를 정의해 두고, 모델은 대화 중 데이터 조회나 작업이 필요해지면 구조화된 호출 요청을...
Admin •
191
GraphRAG란 무엇인가요? 문서 전반에 걸친 글로벌 질문에 더 잘 답하는 이유
GraphRAG는 지식 그래프와 검색 증강 생성을 결합한 방법입니다. 먼저 문서 집합에서 엔터티, 관계, 이벤트를 추출하여 연결 가능한 그래프를 만들고, 그래프 내 커뮤니티와 계층별로 요약을 생성합니다. "전체 데이터베이스의 주요 주제는 무엇이며, 서로 다른 조직들은 ...
Admin •
234