1. 요약
:알리바바 통이 음성 팀(FunAudioLLM)은 두 가지 유형의 오디오 모델을 오픈 소스로 제공했습니다: 음성 합성용 Fun-CosyVoice3-0.5B-2512 (TTS)와 음성 인식용 Fun-ASR-Nano-2512 (ASR). 전자는 다국어 제로 샷 음성 복제와 저지연 스트리밍 합성을 강조하며; 후자는 31개 언어 인식, 방언 억양 커버리지, 실시간 받아쓰기를 강조하여 '음성 생성'부터 '음성 전사'에 이르기까지 종단 간 응용에 적합합니다.
2. 핵심 기능
- Fun-CosyVoice3-0.5B (TTS)는
- 9개의 일반 언어를 지원하며 18+ 중국어 방언/억양과 교차 언어 제로 샷 음성 복제를 지원합니다. 텍스트
- 스트리밍 입력과 오디오 스트리밍 출력(양방향 스트리밍)을 지원하여 저지연 상호작용을 지원합니다. 지
- 시 제어(예: 언어, 방언, 음성 속도/볼륨 등)와 강력한 텍스트 정규화 기능을 지원합니다.
- 2. Fun-ASR-Nano(ASR)는
- 31개 언어를 지원하며 자유 전환과 하이브리드 인식을 지원합니다. 주요
- 중국어 방언과 다지역 억양 인식을 지원하며, 회의나 차량 등 복잡한 상황에 적합합니다.
- 저지연 실시간 전사 기능을 제공하며 funasr의 AutoModel을 통해 호출할 수 있습니다.
3. 설치
- CosyVoice 저장소(TTS / Fun-CosyVoice3)를 복제
- 하고 의존성을 설치합니다(요구사항 및 공식 예시에 따라).
- Hugging Face에서 Fun-CosyVoice3-0.5B-2512 무게를 다운로드하거나, 예시 스크립트에 따라 자동 당김하세요.
- 스트리밍 추론은 공식 스트리밍 예제나 서버 사이드 스크립트를 우선시하여 셀프 스티칭으로 인한 문장 나누기와 높은 지연을 피합니다.
- 2. ASR(Fun-ASR / Fun-ASR-Nano)는
- 저장소/모델 카드에 나열된 의존성을 가진 funasr을 설치합니다. 모델
- 별 카드 예시를
AutoModel(..., trust_remote_code=True)불러와. - 실시간 받아쓰기는 짧은 프레임/작은 구간을 기반으로 한 추론과 애플리케이션 계층에서의 점진적 출력 병합 및 오류 수정을 제안합니다.
4. 일반적인 사용 사례
- 다국어 더빙 및 오디오 콘텐츠: 다국어 TTS + 통합 음색, 비디오 더빙, 팟캐스트, 학습 콘텐츠에 맞게 조정됨.
- 음성 복제 및 캐릭터 더빙: 가상 캐릭터와 다중 캐릭터 내레이션을 위한 소량의 참조 오디오가 포함된 제로 샷 복제(허가 필요).
- 회의/수업의 실시간 전사: 저지연 받아쓰기 + (툴체인 지원 시) 핫워드/단어 목록은 특수 이름의 정확성을 향상시킵니다.
- 콜센터 품질 검사: 검색, 준수 감사 및 요약을 위해 ASR 전사가 이루어지며, 주요 링크는 수동 검토가 권장됩니다.
5. 생태학 및 경쟁 제품
- 생태
- TTS 측은 주로 CosyVoice 프로젝트를 기반으로 하며, 무게는 Hugging Face / ModelScope 등에서 공개되어 배포와 재생산에 유리합니다.
- ASR 측은 Fun-ASR 저장소와 모델 가중치를 제공하며, funasr 툴체인과 연결됩니다. 2.
- 경쟁 TTS 의 일반적인 비교에는
- VITS와 F5-TTS와 같은 오픈 소스 솔루션과 상업용 클라우드 TTS가 포함됩니다; Fun-CosyVoice3의 차이점은 "다국어 제로샷 클로닝 + 양방향 스트리밍 + 명령어 제어"의 조합입니다.
- ASR의 일반적인 제어에는 Whisper line, Wenet 등이 있습니다; Fun-ASR-Nano는 다국어 사용, 방언 억양, 낮은 지연 시간을 강조합니다. A/B 검증에는 자신의 데이터를 사용하는 것이 효과적입니다.
6. 제한 및 주의사항
- 음성 복제는 권한과 프라이버시를 포함합니다: 사칭과 사기를 방지하기 위해 명시적으로 허가되어야 합니다.
- 스트리밍 경험은 엔지니어링 세부 사항에 크게 의존합니다: 슬라이싱 정책, VAD, 네트워크 지터, 캐싱 등이 지연과 문장 끊김에 영향을 줄 수 있습니다.
- 롱테일 방언과 소음이 많은 환경은 여전히 오인될 수 있으니, 신뢰도 임계값과 수동 검토 링크를 설정하는 것이 권장됩니다.
4. 공급망 보안을 평가하기 위해 trust_remote_code=True을 활용하세요: 고정 버전, 감사 코드, 그리고 독립된 운영이 더 안전합니다.
7. 프로젝트 주소
https://huggingface.co/FunAudioLLM/Fun-CosyVoice3-0.5B-2512
8. 자주 묻는 질문
Q: Fun-CosyVoice3-0.5B가 스트리밍 출력이 포함된 "9개 언어 TTS"를 지원하나요?
A: 9개 언어 음성 합성을 지원하며, 텍스트 입력과 오디오 스트리밍 출력을 위한 양방향 스트리밍 기능을 지원합니다.
Q: Fun-CosyVoice3-0.5B의 "음성 복제"에는 얼마나 많은 참조 오디오가 필요한가요?
A: 제로 샷 사운드 클론으로 포지셔닝되어 보통 레퍼런스 오디오가 소량 포함되어 있지만, 음질과 억양이 다를 경우 유사성과 안정성에 영향을 미칩니다.
Q: Fun-ASR-Nano가 31개 언어와 방언 억양 인식을 지원하나요?
답변: 31개 언어를 지원하며 주요 중국어 방언과 다지역 억양을 다루어 실시간 받아쓰기 시나리오에 적합합니다.
Q: 파이썬에서 Fun-ASR-Nano를 빠르게 호출하려면 어떻게 해야 하나요?
A: funasr의 AutoModel을 통해 모델 카드 예제를 불러와 오디오 파일이나 스트리밍 슬라이스를 추론합니다.
