임베딩 벡터는 텍스트나 이미지, 음성을 일련의 숫자로 바꿔 기계가 서로 얼마나 비슷한지 계산할 수 있게 한 것입니다. 검색 엔진과 추천 시스템, 챗봇 지식 베이스는 키워드를 글자 그대로 맞추는 방식이 아니라 대부분 이 방식으로 정보를 찾습니다.
벡터는 어떻게 만들어질까
모델은 방대한 텍스트에서 단어들의 공기 관계를 학습합니다. 자주 함께 등장하는 단어는 가깝게, 의미가 반대인 단어는 멀게 배치됩니다. 그래서 '고양이'는 '자동차'보다 '개'에 더 가깝습니다. 사람이 점수를 매긴 것이 아니라 학습 과정에서 자연스럽게 형성된 거리입니다.
키워드 검색과의 차이
키워드 검색은 문자 그대로의 일치만 보기 때문에 표현을 바꾸면 찾지 못합니다. 벡터 검색은 의미를 봅니다. '휴대폰이 충전이 안 돼요'라고 검색하면 '충전 단자 접촉 불량'처럼 표현이 다른 내용도 찾을 수 있습니다. 대신 '조금 비슷하지만 틀린' 내용이 상위에 오를 수 있어 한 단계 더 걸러내는 과정이 필요합니다.
흔한 오해 세 가지
첫째, 벡터는 문장에 라벨을 붙이는 것이 아니며 옳고 그름을 판단하지 않고 유사도만 기록합니다. 둘째, 벡터가 길다고 더 정확한 것은 아니며 차원과 학습 데이터, 과제 적합성이 더 중요합니다. 셋째, 두 벡터가 가깝다고 두 문장이 모두 옳은 것은 아니며 표현만 비슷할 수 있습니다.
언제 사용될까
개인 지식 베이스나 고객 상담 Q&A, 상품 추천에서는 임베딩 벡터가 먼저 방대한 후보를 추린 뒤 대규모 모델이나 규칙이 최종 판단을 내립니다. '거친 선별 도구'로 쓰는 것이 가장 안정적입니다.
