RAG
검색 증강 생성이 어떻게 작동하는지, 그리고 임베딩, 벡터 데이터베이스, 그리고 리턴팅이 기업 지식 기반 Q&A에서 어떤 역할을 하는지 설명해 주세요.
RAG는 검색 증강 생성으로, 대규모 모델이 메모리에만 의존하지 않고 외부 출처에서 증거를 찾아 답변할 수 있게 합니다. RAG의 기본 과정과 임베딩·벡터 데이터베이스·재정렬 모델이 지식 기반 Q&A에서 각각 무엇을 처리하는지 파악하면 팀이 검색과 슬라이싱의 우회로를 피할 수 있습니다.
Google 개발자 지식 API 생태계 출시: 문서 확인, 웹 스크래핑 없이
Google의 Developer Knowledge API 생태계는 2026년 10월 7일 Google 개발자 블로그에서 정식으로 소개됐다. 대체하려는 것은 두 가지 임시방편이다. 에이전트에게 웹페이지를 긁어오게 하는 것, 그리고 모델 학습 데이터에 남아 있는 낡은 문서...
Admin
128 
Crawl4AI, 쓸 가치가 있을까? 웹을 모델에 먹이기 전 따질 세 가지 비용
Crawl4AI는 웹페이지를 깨끗한 마크다운으로 변환하는 오픈소스 Python 라이브러리입니다. 웹을 대형 모델에 넣기 전의 번거로운 단계, 즉 내비게이션과 광고와 스크립트로 가득한 생 페이지를 그대로 검색 파이프라인이나 프롬프트에 넣어 한도와 노이즈를 낭비하는 문제를...
Admin
54 
EmbeddingGemma 2 공개: 7억 4천만 파라미터로 멀티모달 검색을 스마트폰 로컬로
EmbeddingGemma 2는 Google DeepMind가 2026년 10월 6일 Google 개발자 블로그를 통해 공개한 오픈 웨이트 멀티모달 임베딩 모델로, Gemma 4를 기반으로 하며 파라미터는 7억 4천만 개에 불과하다. 텍스트, 이미지, 영상 프레임, 오...
Admin
114 
Khoj, 직접 호스팅할 가치가 있을까? 개인 지식 베이스에 두 번째 뇌를 달기 전 따질 세 가지 비용
Khoj가 하려는 일은 분명합니다. 컴퓨터 곳곳에 흩어진 문서, 노트, 웹페이지를 질문하면 내 자료에서 답을 찾아 주는 개인 지식 베이스로 바꾸는 것입니다. GitHub에서 약 3.5만 개의 스타를 받아 개인 지식 관리 분야에서 가장 주목받는 오픈소스 중 하나입니다. ...
Admin
61 
MarkItDown 쓸 만할까? Microsoft 오픈소스 파일-Markdown 변환 도구와 먼저 봐야 할 세 가지 한계
MarkItDown은 Microsoft가 공개한 오픈소스 파일-Markdown 변환 도구로, 지저분한 문서를 대규모 언어 모델에 제대로 넣기 어렵다는 실무 문제를 해결하기 위해 만들어졌습니다. PDF, Word, PowerPoint, Excel, 이미지, 오디오, HT...
Admin
84 
토크나이저란 무엇인가? 같은 문장인데 모델이 바뀌면 token 수가 달라지는 이유
토크나이저(Tokenizer)는 여러분이 모델에 보낸 문장이 가장 먼저 거치는 부품으로, 이해를 담당하지 않고 자르고 번호를 매기는 일만 합니다. 텍스트가 대규모 모델에 들어가기 전에 토크나이저는 먼저 그것을 token 단위로 자른 뒤 어휘표의 번호로 바꿉니다. 모델이...
Admin
97 
AstaBrief 오픈소스 공개: Ai2의 8B 모델, 인용 포함 과학 보고서 3.5배 빠르게
AstaBrief 8B는 Ai2(Allen Institute for AI)가 2026년 10월 2일 오픈소스로 공개한 과학 보고서 생성 모델이다. 연구 질문과 검색된 문헌 발췌를 입력하면 인용이 달린 보고서를 바로 만들어 낸다. 모델은 Ai2의 과학 연구 플랫폼 Ast...
Admin
117 
Dify: 15만 스타 오픈소스 AI 앱 플랫폼, 셀프 호스팅 전 확인할 4가지
Dify는 진지하게 살펴볼 가치가 있다. 가장 잘 맞는 대상은 두 부류다. 백엔드를 처음부터 만들지 않고 실용적인 AI 앱(사내 지원, 지식 Q&A, 승인 도우미)을 빠르게 만들고 싶은 팀, 그리고 데이터 주권을 지키며 AI를 자체 서버에서 돌리고 싶은 기업이다. Gi...
Admin
123