DeepSeek는 V3.1-Base 모델 가중치를 Hugging Face에 게시했으며, 이 가중치는 직접 다운로드하여 사용할 수 있습니다. 많은 언론 매체는 이것을 "오픈 소스" 릴리스라고 불렀습니다. 그러나 현재 모델 카드를 사용할 수 없고 라이센스가 표시되지 않으며 엄격한 사용 경계는 여전히 공식 후속 지침의 적용을 받아야 합니다. 온라인 서비스는 V3.1로 업그레이드되어 컨텍스트 길이가 128K로 확장되었으며 웹/앱/미니 프로그램은 API와 호환됩니다.
1. 주요 정보
1. 릴리스 형식: Hugging Face는 V3.1-Base 가중치(safetensor)를 제공하며 페이지에는 BF16 / F8_E4M3 / F32를 지원하여 다양한 정량적 버전을 제공하는 것으로 나와 있습니다.
2. 스케일 매개변수: 페이지에 "모델 크기:685B 매개변수"가 표시됩니다.
3. 컨텍스트 길이: 여러 보고서 및 공식 발표에 따르면 온라인 모델이 128K 컨텍스트로 업그레이드되었으며 API 호출 방법은 변경되지 않았습니다.
4. 아키텍처 배경: V3 시리즈는 DeepSeek이 자체 개발한 MLA 및 기타 기술과 결합된 MoE(Mixture-of-Experts) 경로입니다. V3.1 이를 기반으로 엔지니어링 및 컨텍스트 향상이 수행됩니다(공개 자료 및 미디어 요약에 따름).
5. 참고: 현재 Hugging Face 모델 카드에 대한 세부 및 권한 필드가 없습니다. 다운로드 및 상용화하기 전에 라이선스와 약관을 확인해야 합니다.
2. 오픈 소스 주소(공식 및 권위 있는 입구)
1. 포옹하는 얼굴 · DeepSeek-V3.1-Base:
https://huggingface.co/deepseek-ai/DeepSeek-V3.1-Base
2, DeepSeek 공식 웹사이트(제품 및 API):
https://www.deepseek.com/
3, DeepSeek-V3 GitHub(아키텍처 및 논문 배경 참조):
https://github.com/deepseek-ai/DeepSeek-V3
3. 가용성 및 배포 제안
1. 다운로드 및 형식: SafeTensors가 선호됩니다. 하드웨어별로 BF16 또는 FP8(F8_E4M3) 정량화된 변형을 선택합니다.
2. 추론 리소스: 685B(MoE 총 매개변수) 수준 모델에는 높은 비디오 메모리/분산 추론이 필요합니다. 리소스가 제한된 경우 먼저 양자화 또는 클라우드 추론을 선택합니다.
3. 컨텍스트 전략: 128K 컨텍스트는 긴 문서/긴 코드베이스에 적합하며 프롬프트 프로젝트를 RAG(검색 향상)와 결합하여 잘못된 컨텍스트 주입을 줄여야 합니다.
4. 평가 및 그레이스케일: 먼저 작은 샘플 벤치마크(코드, 검색, 긴 기사 요약)를 사용하여 A/B를 수행하고 속도와 비용에 대한 임계값을 설정한 다음 생산으로 확장합니다.
4. 일반적인 응용 시나리오
1. 긴 문서 이해 및 규정 준수 요약: 계약/연례 보고서/기술 백서의 일회성 컨텍스트 로딩 및 분할 추론.
2. 코드 에이전트: 도구 호출 및 테스트 프레임워크와 결합된 대규모 코드 베이스를 읽고, 쓰고, 재구성합니다.
3. 엔터프라이즈 검색 및 지식 도우미: 벡터 검색/RAG와 결합하여 더 긴 컨텍스트를 사용하여 데이터베이스 간 요약 및 증거 체인 답변을 수행합니다.
5. 위험 및 경계
1. 불분명한 라이선스: 현재 명확한 라이선스 필드가 없으며 기본적으로 상업적 사용이 엄격히 금지됩니다. 공식 모델 카드 및 라이센스 업데이트를 기다리십시오.
2. 컴퓨팅 성능 및 비용: MoE 수준 모델에는 여전히 상당한 메모리/대역폭 요구 사항이 있습니다. 착륙 규모를 결정하기 전에 TCO 및 처리량을 평가합니다.
3. 데이터 규정 준수: 민감한 데이터는 긴 컨텍스트에서 쉽게 운반할 수 있으므로 둔감화, 등급 지정 및 액세스 제어가 필요하며 로그 및 만료 삭제 정책을 구성해야 합니다.
6. 자주 묻는 질문 1
. V3.1은 정말 "오픈 소스"입니까?
현재 가중치는 "오픈 가중치"로 게시된 Hugging Face에서 다운로드할 수 있습니다. 그러나 모델 카드는 아직 사용할 수 없고 라이선스가 표시되지 않으며 엄격한 오픈 소스/상업적 경계는 공식 라이선스의 적용을 받아야 합니다.
2. 온라인 버전을 경험하고 API를 호출하는 곳은 어디인가요?
DeepSeek의 공식 웹사이트는 웹/앱/미니 프로그램 및 API를 제공하며 공식 발표에는 V3.1로 업그레이드되었으며 API는 계속 호환된다고 나와 있습니다.
3. V3와의 주요 차이점은 무엇입니까?
공개 정보는 "더 긴 컨텍스트(128K까지)"와 "엔지니어링 최적화 및 속도 경험 개선"에 중점을 둡니다. 기본 계층은 여전히 V3 시스템을 계속하며 자세한 교육 및 평가 데이터는 공식 모델 카드로 보완되어야 합니다.
4. 리소스가 충분하지 않은 경우 어떻게 시도해야 합니까?
정량적 가중치와 구름 추론에 우선순위가 부여됩니다. 오프라인 배포를 통해 분산 추론 및 고급 GPU에 투자할지 여부를 결정하기 전에 소규모 샘플 평가가 가능합니다.
