LoRA는 Low-Rank Adaptation의 약자로, 중국어로는 흔히 '低級適'(低級配)라고 불립니다. 이 방법은 매개변수를 미세 조정하는 데 매우 효율적인 방법으로, 대형 모델의 모든 매개변수를 직접 변경하는 대신, 특정 계층 옆에 더 작은 학습 가능한 행렬을 추가하여 모델이 새로운 작업이나 스타일을 학습할 수 있게 합니다.
비용 절감 이유
완전한 미세 조정은 복잡한 기계 전체를 재훈련하는 것과 같으며, 메모리, 데이터, 엔지니어링 비용이 많이 듭니다. LoRA는 기계에 교체 가능한 모듈 세트를 추가하는 것과 비슷하며, 이 부분의 새로운 파라미터만 학습시키는 것과 같습니다. 이로 인해 메모리 요구량이 크게 줄어들고 서로 다른 작업 간 전환이 더 편리해집니다.
LoRA는 다음과 같이 적합합니다.
오픈 소스 모델이 특정 글쓰기 스타일, 업계 용어, 고객 서비스 스크립트, 구조화된 출력 형식, 이미지 스타일 또는 수직적 작업을 학습할 수 있도록 적합합니다. 많은 팀이 LoRA를 사용해 "프롬프트보다 더 안정적이지만 완전한 훈련보다는 가벼운 맞춤형 모델"을 만듭니다.
아무것도 어울리지 않아
LoRA는 마법 같은 패치가 아닙니다. 기본 모델에 특정 기능이 없고 데이터가 작고 복잡하다면, LoRA는 무에서 강력한 기능을 만들기 어려울 것입니다. 또한 RAG를 대체할 수 없습니다: 자주 변화하는 사실 데이터에 답변해야 하는 작업이라면, 지식 기반을 검색하는 것이 모델을 미세 조정하는 것보다 보통 더 잘 관리됩니다.
QLoRA 및 완전한 미세 조정
QLoRA는 양자화 위에 LoRA를 수행하는 것으로 이해할 수 있으며, 이는 학습 자원을 더욱 줄인다; 완전한 미세 조정은 더 많은 원래의 파라미터를 수정하여 더 강력한 제어를 제공하지만 더 높은 비용을 제공합니다. 실질적인 판단은 다음과 같습니다: 먼저 프롬프트와 RAG를 사용해 풀고; LoRA를 고려하기 전에 안정적인 스타일이나 고정된 작업 성능이 필요합니다; 데이터, 예산, 평가가 성숙해질 때에만 더 무겁게 훈련 경로가 고려됩니다.
