지식 기반 Q&A는 문제가 아니며, 10번 중 9번은 모델이 갑자기 멍청해진 것이 아니라, 자료가 검색 링크 앞에서 비뚤게 입력되는 경우입니다. 가장 흔한 세 가지 문제는 너무 잘게 찢어지거나 엉망인 편집, 부정확한 리콜 결과, 그리고 맥락상 잘못된 내용 순서와 경계입니다. 모델은 제공된 재료에 따라 답변하기 때문에, 답변은 편향되어 있고, 반드시 생성 계층의 문제와는 다릅니다.
이 조각들이 의미를 끊는지 한번 보자고
많은 지식 기반은 문서가 올라오자마자 고정된 단어 수로 줄여주기 때문에, 제목, 정의, 표 설명, 결론을 나누는 것이 가장 쉽습니다. 그 결과, 모델은 '반 단락' 답을 받고, 자연스럽게 틀린 답을 하게 됩니다. 시스템 문서, 제품 설명, FAQ 또는 계약 자료를 접할 때는 자연스러운 단락, 제목 수준, Q&A 단위에 따라 자르는 것이 우선적으로 적용되어야 하며, 이는 단순히 단어 수로 자르는 것보다 보통 더 안정적입니다.
리콜이 '유사하다'를 '정말 관련된'으로 간주하는지 확인해 봅시다.
- 사용자가 매우 구체적인 조건, 버전, 부서 또는 제한에 대해 질문하면, 리콜은 항상 일반적인 소개 단락과 함께 돌아와 검색의 세분화가 충분히 세분화되지 않았음을 나타냅니다.
- 처음 몇 번의 리콜이 덜 관련 없는 문서에서 나온다면, 정렬 신호가 실제 비즈니스 키워드를 압도합니다.
- 사용자가 명확히 시나리오 A에 대해 질문할 경우, 시스템은 항상 시나리오 B의 자료를 끌어오는데, 이는 종종 임베딩과 유사하지만 비즈니스 경계는 필터링되지 않습니다.
이 시점에서 단순히 모델을 조정하는 것에 그치지 말고, 먼저 메타데이터 필터링, 키워드 재배열을 추가하거나, 최소한 문서 유형, 시간, 제품 라인 및 기타 조건을 검색에 포함시키세요.
마지막으로, 문맥을 살펴보면 '맞춤법은 맞지만 정확히 쓰이지 않았다'는 점이 있습니다.
일부 시스템은 회상 단편을 주제에 억지로 넣는데, 이 질문에는 많은 내용이 있어 보이지만, 실제로 모델이 어떤 부분이 주요 증거인지 판단하기 어렵습니다. 더 안정적인 방법은 가장 관련 있는 스니펫을 먼저 두고, 제목과 출처를 유지한 뒤, 모델에 "다음 사항에 근거해 답변할 수 있다; 못 찾으면 그냥 말해." 맥락이 옛 버전과 새 버전, 설명 세그먼트, 광고 세그먼트를 동시에 섞으면, 모델이 아무리 강해도 흔들릴 수밖에 없습니다.
간단한 문제 해결 순서는 이렇습니다: 먼저 절단 부위를 확인하고, 리콜 기록을 보고, 그다음 접합 부위를 보고, 마지막으로 모델 자체를 의심하는 것입니다. 대부분의 지식 기반은 묻지 않은 질문에 답하며, 처음 세 단계가 맞으면 정확도가 크게 회복됩니다.
