VaultGemma 교사 모델 증류

VaultGemma 출시: 차등 개인 정보 보호와 규모의 법칙으로 훈련된 오픈 소스 대규모 모델이 완전히 해결되었습니다.

VaultGemma는 처음부터 약 10억 개의 매개변수가 있는 Gemma 변형을 구축하기 위해 차등 개인 정보 보호에 대해 교육을 받았습니다. 관계자는 "차등 개인 정보 보호 언어 모델의 규모 법칙"을 발표하여 개인 정보 보호 예산, 컴퓨팅 성능 및 효과에 대한 절충 ...