ToolNavs 유용한 AI 도구 찾기
도구 제출 로그인

LLM 추론 최적화

요청을 묶는 방식만 바꿔도 같은 GPU의 처리량이 몇 배 달라집니다. 연속 배치, 추측 디코딩, KV 캐시, 컨텍스트 캐시가 각각 어느 구간의 비용을 줄이는지, 커널 라이브러리와 희소 구조로 어디까지 당길 수 있는지 정리합니다.

연속 배치는 스케줄 단위를 생성 한 단계로 줄이고, 추측 디코딩은 작은 모델의 초안을 큰 모델이 한 번에 검증합니다. KV 캐시는 어텐션 상태를 재사용하고, 컨텍스트 캐시는 되풀이 보내는 긴 문서의 결과를 남깁니다. MoE는 소수 전문가만 깨우고, Kimi Linear는 백만 컨텍스트의 KV 캐시를 약 75% 줄입니다. 효과는 작업에 따라 달라 코드는 긴 초안에 맞지만 창작은 그렇지 않습니다.
확산 모델이란? 이미지 생성이 먼저 화면을 흐트러뜨린 뒤 천천히 복원하는 이유

확산 모델이란? 이미지 생성이 먼저 화면을 흐트러뜨린 뒤 천천히 복원하는 이유

확산 모델은 먼저 데이터에 단계적으로 노이즈를 더한 뒤, 그 노이즈를 단계적으로 제거하는 법을 학습해 새로운 콘텐츠를 생성하는 생성 모델로, 현재 이미지 생성의 주류 방법 중 하나입니다. 이미지를 직접 그리는 것이 아니라 순수한 노이즈에서 출발해 노이즈를 한 단계씩 걷...

Admin
100
대형 모델을 로컬로 돌리려면 VRAM은 얼마나 필요할까? 8GB·16GB·24GB로 무엇을 돌릴 수 있나

대형 모델을 로컬로 돌리려면 VRAM은 얼마나 필요할까? 8GB·16GB·24GB로 무엇을 돌릴 수 있나

대형 모델을 로컬로 돌릴 때 그래픽카드 VRAM이 충분한지는 모델을 다운로드하기도 전에 체감 상한을 정해 버리는 경우가 많습니다. 연산 성능만 보다가 모델이 들어가지 않거나, 들어가도 짧은 컨텍스트만 쓸 수 있다는 사실을 뒤늦게 깨닫는 사람이 적지 않습니다. VRAM은...

Admin
118