LoRA의 미세 조정이란 무엇인가요? 왜 전용 모델을 이렇게 저렴한 비용으로 훈련시킬 수 있나요?
LoRA는 Low-Rank Adaptation의 약자로, 중국어로는 흔히 '低級適'(低級配)라고 불립니다. 이 방법은 매개변수를 미세 조정하는 데 매우 효율적인 방법으로, 대형 모델의 모든 매개변수를 직접 변경하는 대신, 특정 계층 옆에 더 작은 학습 가능한 행렬을 추...
AI 백과사전 • Admin •
97
오픈 소스 모델
Found 8 related articles
DeepSeek V4 공식 출시: 100만 개의 맥락과 오픈 소스 무게가 주목 중입니다
2026년 4월 24일, DeepSeek V4가 공식적으로 공개되었습니다. 몇 시간 전만 해도 언론 루머로만 평가받았던 것과 달리, 이제 DeepSeek의 공식 Hugging Face 조직이 DeepSeek-V4-Pro, DeepSeek-V4-Flash 및 해당 기본 ...
AI 정보 • Admin •
559
왜 올라마가 지역 대형 모델들의 첫 번째 정거장이 되었을까요? 가장 강력한 점은 시작 기준이 낮다는 점이지, 기업 수준의 통제가 아니라는 점입니다
많은 사람들이 처음으로 지역 모델을 진지하게 운영하는데, 거의 항상 올라마를 만나게 됩니다. 이유는 복잡하지 않습니다. "모델 다운로드, 서비스 시작, API로 호출"을 간단하게 만들어 로컬 추론을 단순한 도구의 설치와 비슷하게 만듭니다. 개발자와 초기 도입자들에게 이...
AI는 오픈 소스입니다. • Admin •
77
GLM-5.1 출시: Z.ai 8시간의 장기 프록시 작업을 가진 오픈 소스 코드 모델에 베팅했습니다
GLM-5.1 이 공식적으로 출시되었으며, Z.ai 이를 에이전트 엔지니어링을 위한 새로운 세대의 오픈 소스 대표 모델로 정의합니다. 공식 정보에 따르면, 이 모델은 코드, 툴 호출, 장기 자율 실행에 중점을 두고 있으며, SWE-Bench Pro, NL2Repo, T...
AI 정보 • Admin •
136
모델 디스틸레이션: 왜 점점 더 많은 '작은 모델'이 대형 모델 경험을 따라잡을 수 있는지
모델 증류는 지난 2년간 자주 언급된 키워드로, 특히 "왜 작은 모델이 강해지는가"라는 질문에서 거의 항상 등장합니다. 간단히 말해, 디스틸레이션의 아이디어는 작은 학생 모델이 더 큰 교사 모델로부터 배우고, 교사의 능력, 행동, 출력 패턴 일부를 이전하여 더 낮은 비...
AI 백과사전 • Admin •
81
모델 양자화: 왜 4비트와 8비트가 온프레미스 논의에서 항상 언급되는지
모델 정량화는 온프레미스 배포와 효율적인 추론에서 피할 수 없는 키워드입니다. 많은 사람들이 모델 배포 튜토리얼을 읽을 때 8비트, 4비트, AWQ, GPTQ 같은 단어를 접하지만, 그것들이 어떤 문제를 해결하는지 모릅니다. 간단히 말해, 양자화의 핵심은 모델 가중치를...
AI 백과사전 • Admin •
112