임베딩 벡터란? AI가 문자를 숫자로 바꿔 유사도를 재는 방법
임베딩 벡터는 텍스트나 이미지, 음성을 일련의 숫자로 바꿔 기계가 서로 얼마나 비슷한지 계산할 수 있게 한 것입니다. 검색 엔진과 추천 시스템, 챗봇 지식 베이스는 키워드를 글자 그대로 맞추는 방식이 아니라 대부분 이 방식으로 정보를 찾습니다. 벡터는 어떻게 만들어질까...
Admin •
18
보상 모델이란? AI 답변의 좋고 나쁨을 먼저 채점하는 구조
보상 모델은 AI 답변에 점수를 매기는 심판과 같다. 직접 질문에 답하지 않고 모델이 내놓은 답변의 우열을 가려 어떤 답변이 배울 만한지 알려준다. 학습 단계에서는 사람이 같은 질문에 대한 여러 답변에 순위를 매기고, 보상 모델은 그 선호를 학습한다. 이후에는 수천 개...
Admin •
21
지식 그래프란? 벡터 데이터베이스와는 다르다
지식 그래프란 '개체(엔티티)'와 '개체 간의 관계'를 그물처럼 조직화한 지식 표현 방식이다. 예를 들어 '장웨이—어느 IT 기업에 근무—직책은 엔지니어'와 같은 '주어—관계—목적어' 트리플을 이어 붙이면 하나의 그래프가 된다. 표 형식과의 가장 큰 차이는 관계가 일급...
Admin •
33
지식 증류란? 거대 모델이 소형 모델에게 노하우를 전수하는 법
지식 증류(Knowledge Distillation)는 거대 모델의 '다크 지식'을 작은 모델에게 전달하는 기술이다. 먼저 거대한 교사 모델이 참조 출력을 생성하게 하고, 훨씬 작은 학생 모델이 그 출력을 학습하게 함으로써 작으면서도 쓸 만한 모델을 만들어 낸다. 선생...
Admin •
59
모델 가지치기란? 중요하지 않은 연결을 잘라내도 모델이 동작하는 이유
모델 가지치기는 대형 모델에 뺄셈을 하는 방법입니다. 가중치 중에서 0에 가깝고 결과에 거의 영향을 주지 않는 연결을 찾아 삭제하거나 0으로 만들어, 모델을 더 작고 빠르게 하면서 능력 저하는 조금으로 억제하는 것입니다. 양자화, 증류와 함께 모델 압축으로 묶이지만 손...
Admin •
74
레드티밍이란? AI의 약점을 일부러 파고드는 검증, 일반 테스트와 뭐가 다른가
레드티밍은 공격자의 자리에 선 사람을 고용해, AI가 잘못된 행동을 하거나 거부해야 할 말을 하거나 지켜야 할 정보를 흘리도록 일부러 유도하는 방법을 찾아 출시 전에 구멍을 막는 검증입니다. 사이버 보안에서 온 용어로, 레드팀이 공격하고 블루팀이 방어합니다. 재는 것은...
Admin •
93
프롬프트 캐싱이란? 같은 앞부분을 다시 계산하지 않는 이유
프롬프트 캐싱은 대규모 모델 API의 비용 절감 장치입니다. 같은 대화나 같은 종류의 요청에서 반복되는 앞부분을 서버가 한 번 계산해 저장해 두고, 다음 요청의 시작이 글자 하나까지 똑같으면 그 계산 결과를 그대로 재사용합니다. 절약되는 것은 입력 토큰 비용과 첫 글자...
Admin •
109
텍스트 청킹이란? 너무 잘게 자르면 답이 빠지고, 너무 크면 엉뚱해진다
텍스트 청킹은 긴 문서를 작은 조각으로 잘라 지식 베이스에 저장하는 방식입니다. 책 한 권, 계약서, 도움말 전체를 모델에 통째로 넣는 대신 수백 자에서 천 자 정도의 덩어리로 나누고 각각 벡터화한 뒤, 질문이 오면 가장 관련 있는 조각만 꺼내 모델이 답하게 합니다. ...
Admin •
124