오픈 소스 음성 솔루션 비교: Fun-CosyVoice3 대 일반 TTS, Fun-ASR-nano 대 메인스트림 ASR

1. 요약

알리바바 통이 음성 팀(FunAudioLLM)은 두 가지 유형의 오디오 모델을 오픈 소스로 제공했습니다: 음성 합성용 Fun-CosyVoice3-0.5B-2512 (TTS)와 음성 인식용 Fun-ASR-Nano-2512 (ASR). 전자는 다국어 제로 샷 음성 복제와 저지연 스트리밍 합성을 강조하며; 후자는 31개 언어 인식, 방언 억양 커버리지, 실시간 받아쓰기를 강조하여 '음성 생성'부터 '음성 전사'에 이르기까지 종단 간 응용에 적합합니다.

2. 핵심 기능

1. Fun-CosyVoice3-0.5B (TTS)는

1. 9개의 일반 언어를 지원하며 18+ 중국어 방언/억양과 교차 언어 제로 샷 음성 복제를 지원합니다.
텍스트
2. 스트리밍 입력과 오디오 스트리밍 출력(양방향 스트리밍)을 지원하여 저지연 상호작용을 지원합니다.
지
3. 시 제어(예: 언어, 방언, 음성 속도/볼륨 등)와 강력한 텍스트 정규화 기능을 지원합니다.
4. 2. Fun-ASR-Nano(ASR)는
5. 31개 언어를 지원하며 자유 전환과 하이브리드 인식을 지원합니다.
주요
6. 중국어 방언과 다지역 억양 인식을 지원하며, 회의나 차량 등 복잡한 상황에 적합합니다.
7. 저지연 실시간 전사 기능을 제공하며 funasr의 AutoModel을 통해 호출할 수 있습니다.

3. 설치

1. CosyVoice 저장소(TTS / Fun-CosyVoice3)를 복제

1. 하고 의존성을 설치합니다(요구사항 및 공식 예시에 따라).
2. Hugging Face에서 Fun-CosyVoice3-0.5B-2512 무게를 다운로드하거나, 예시 스크립트에 따라 자동 당김하세요.
3. 스트리밍 추론은 공식 스트리밍 예제나 서버 사이드 스크립트를 우선시하여 셀프 스티칭으로 인한 문장 나누기와 높은 지연을 피합니다.
4. 2. ASR(Fun-ASR / Fun-ASR-Nano)는
5. 저장소/모델 카드에 나열된 의존성을 가진 funasr을 설치합니다.
모델
6. 별 카드 예시를 AutoModel(..., trust_remote_code=True) 불러와.
7. 실시간 받아쓰기는 짧은 프레임/작은 구간을 기반으로 한 추론과 애플리케이션 계층에서의 점진적 출력 병합 및 오류 수정을 제안합니다.

4. 일반적인 사용 사례

1. 다국어 더빙 및 오디오 콘텐츠: 다국어 TTS + 통합 음색, 비디오 더빙, 팟캐스트, 학습 콘텐츠에 맞게 조정됨.
2. 음성 복제 및 캐릭터 더빙: 가상 캐릭터와 다중 캐릭터 내레이션을 위한 소량의 참조 오디오가 포함된 제로 샷 복제(허가 필요).
3. 회의/수업의 실시간 전사: 저지연 받아쓰기 + (툴체인 지원 시) 핫워드/단어 목록은 특수 이름의 정확성을 향상시킵니다.
4. 콜센터 품질 검사: 검색, 준수 감사 및 요약을 위해 ASR 전사가 이루어지며, 주요 링크는 수동 검토가 권장됩니다.

5. 생태학 및 경쟁 제품

1. 생태

1. TTS 측은 주로 CosyVoice 프로젝트를 기반으로 하며, 무게는 Hugging Face / ModelScope 등에서 공개되어 배포와 재생산에 유리합니다.
2. ASR 측은 Fun-ASR 저장소와 모델 가중치를 제공하며, funasr 툴체인과 연결됩니다. 2.
3. 경쟁 TTS
의 일반적인 비교에는
4. VITS와 F5-TTS와 같은 오픈 소스 솔루션과 상업용 클라우드 TTS가 포함됩니다; Fun-CosyVoice3의 차이점은 "다국어 제로샷 클로닝 + 양방향 스트리밍 + 명령어 제어"의 조합입니다.
5. ASR의 일반적인 제어에는 Whisper line, Wenet 등이 있습니다; Fun-ASR-Nano는 다국어 사용, 방언 억양, 낮은 지연 시간을 강조합니다. A/B 검증에는 자신의 데이터를 사용하는 것이 효과적입니다.

6. 제한 및 주의사항

1. 음성 복제는 권한과 프라이버시를 포함합니다: 사칭과 사기를 방지하기 위해 명시적으로 허가되어야 합니다.
2. 스트리밍 경험은 엔지니어링 세부 사항에 크게 의존합니다: 슬라이싱 정책, VAD, 네트워크 지터, 캐싱 등이 지연과 문장 끊김에 영향을 줄 수 있습니다.
3. 롱테일 방언과 소음이 많은 환경은 여전히 오인될 수 있으니, 신뢰도 임계값과 수동 검토 링크를 설정하는 것이 권장됩니다.

4. 공급망 보안을 평가하기 위해 trust_remote_code=True을 활용하세요: 고정 버전, 감사 코드, 그리고 독립된 운영이 더 안전합니다.

7. 프로젝트 주소

 https://huggingface.co/FunAudioLLM/Fun-CosyVoice3-0.5B-2512

8. 자주 묻는 질문

Q: Fun-CosyVoice3-0.5B가 스트리밍 출력이 포함된 "9개 언어 TTS"를 지원하나요?

A: 9개 언어 음성 합성을 지원하며, 텍스트 입력과 오디오 스트리밍 출력을 위한 양방향 스트리밍 기능을 지원합니다.

Q: Fun-CosyVoice3-0.5B의 "음성 복제"에는 얼마나 많은 참조 오디오가 필요한가요?

A: 제로 샷 사운드 클론으로 포지셔닝되어 보통 레퍼런스 오디오가 소량 포함되어 있지만, 음질과 억양이 다를 경우 유사성과 안정성에 영향을 미칩니다.

Q: Fun-ASR-Nano가 31개 언어와 방언 억양 인식을 지원하나요?

답변: 31개 언어를 지원하며 주요 중국어 방언과 다지역 억양을 다루어 실시간 받아쓰기 시나리오에 적합합니다.

Q: 파이썬에서 Fun-ASR-Nano를 빠르게 호출하려면 어떻게 해야 하나요?

A: funasr의 AutoModel을 통해 모델 카드 예제를 불러와 오디오 파일이나 스트리밍 슬라이스를 추론합니다.