ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인
돌아가기 AI 백과사전
추론 엔진이란? 모델을 움직이는 핵심, 잘못 고르면 돈 낭비

추론 엔진이란? 모델을 움직이는 핵심, 잘못 고르면 돈 낭비

AI 백과사전 • Admin • • 21 회 조회

추론 엔진은 대규모 모델을 실제로 구동시키는 소프트웨어 계층이다. 모델 가중치와 사용자 요청을 받아 대기열 관리, 연산 스케줄링, 메모리 관리, 결과 출력을 맡는다. 이것 없이는 모델은 그저 실행할 수 없는 파라미터 파일 뭉치에 불과하다. 엔진을 잘못 고르면 같은 GPU에서도 몇 배 느리고 몇 배 비싸질 수 있다. 먼저 한 가지를 구분하자. 모델이 결정하는 것은 '무엇을 아는가'이고, 추론 엔진이 결정하는 것은 '얼마나 빠르고 얼마나 저렴하게 도는가'이다.

주요 3개 엔진, 각각 무엇을 계산하나

vLLM, SGLang, TensorRT-LLM은 현재 가장 널리 쓰이는 세 가지 오픈소스 추론 엔진으로, 하는 일은 같다. 토큰을 한 번에 하나씩 생성하는 과정을 더 촘촘하고 더 빠르게 배치하는 것이다. 핵심 메커니즘은 두 가지다. 첫째, 연속 배칭으로, 새 요청은 이전 배치가 전부 끝날 때까지 기다리지 않고 도착하는 대로 들어간다. 그래서 GPU가 긴 꼬리를 기다리며 놀지 않는다. 둘째, PagedAttention으로, KV 캐시를 운영체제의 페이징처럼 관리해 메모리 단편화를 크게 줄인다. SGLang은 여기에 RadixAttention을 더해 여러 턴 대화에서 반복되는 프롬프트 앞부분을 prefix tree로 재사용한다. TensorRT-LLM은 NVIDIA의 컴파일러 최적화에 기대 자사 GPU에서 연산자를 가장 빠르게 만든다.

흔한 세 가지 오해, 헷갈리지 말자

첫째, 추론 엔진을 채팅 제품으로 착각하는 것이다. 화면도 없고 기억도 없고 웹 검색도 없다. 사용자와 엔진 사이에는 아직 애플리케이션 계층이 필요하므로 설치했다고 대화 어시스턴트가 생기는 것은 아니다. 둘째, 엔진을 바꾸면 답변 품질이 좋아진다고 생각하는 것이다. 엔진이 좌우하는 것은 속도와 비용뿐이며 가중치가 같으면 답변 내용은 거의 그대로다. 셋째, 파라미터가 큰 모델에만 필요하다고 생각하는 것이다. 동시 요청이 늘면 작은 모델도 대기열과 메모리에 발목을 잡힌다. 요청이 많아지는 순간 엔진의 가치가 드러난다.

어떤 경우에 추론 엔진이 필요할까

직접 API 서비스를 운영하면서 수십에서 수백 개의 동시 요청을 처리해야 하거나, 한 장의 카드에 여러 모델을 올리고 싶다면 추론 엔진부터 살펴보자. 로컬에서 가끔 실행하며 코드를 짜는 정도라면 Ollama처럼 바로 쓸 수 있는 도구가 더 간편하다. 고를 때는 벤치마크만 보지 말자. 먼저 내 모델 형식과 양자화 방식을 지원하는지, 그다음 메모리 사용량과 지연 시간, 마지막으로 커뮤니티 활성도를 확인한다. 메커니즘을 더 깊이 알고 싶다면 사이트의 연속 배칭이란 무엇인가 항목부터 읽고, vLLM은 어떤 팀에 적합한가 실전 분석을 이어서 보면 된다.

추천 도구

더보기