FunAudioLLM Open Source Fun-Audio-Chat-8B : Représentation vocale double résolution et appel de fonctions vocales

1. Résumé

Fun-Audio-Chat-8B est un « grand modèle de langage audio » open source de l’équipe FunAudioLLM, destiné à des interactions vocales plus naturelles et à faible latence. Il utilise la « représentation vocale en double résolution » (dorsale partagée 5Hz + tête affinée 25Hz) pour réduire la surcharge de calcul, tout en préservant autant que possible les capacités du LLM textuel grâce à la stratégie d’entraînement Core-Cocktail. Il couvre des tâches telles que la réponse vocale aux questions, la compréhension audio, l’appel vocal, le suivi vocal et la « résonance émotionnelle vocale ». Le modèle est bilingue en chinois et en anglais, et la licence est Apache-2.0.

2. Caractéristiques principales

1. Caractérisation vocale en double résolution : réduire les coûts avec une colonne vertébrale partagée avec des fréquences d’images plus basses et maintenir la qualité vocale avec des têtes à haut taux d’images.

2. Couverture complète des capacités : réponses vocales aux questions, compréhension audio, appel vocal, suivi vocal par commande, résonance émotionnelle vocale.

3. Formulaire de raisonnement clair : Fournir des scripts exemples de reconnaissance vocale (S2T) et de reconnaissance vocale (S2S) pour faciliter la vérification rapide des liens.

4. Composants de support : Il est recommandé de télécharger Fun-CosyVoice3-0.5B-2512 pour les capacités de synthèse vocale.

3. Installation

1. Cloner le code et installer les dépendances :

• git clone --recurse-submodules https://github.com/FunAudioLLM/Fun-Audio-Chat && cd Fun-Audio-Chat
• Installez ffmpeg et créez un environnement python=3.12.
• 2. Installer la version du framework : installer torch==2.8.0, torchaudio==2.8.0 et requirements.txt selon l’exemple du dépôt.
• 3. Préparer la mémoire vidéo : La référence officielle est d’environ 24 Go de mémoire vidéo ; Les exigences en ressources de formation sont plus élevées.

4. Cas d’usage typiques

1. Assistant vocal/service client : entrée vocale utilisateur, texte de sortie modèle ou réponse vocale directe (S2S).
2. Compréhension audio et questions-réponses vocales : questions-réponses, résumé et extraction de points clés du contenu enregistré (pilotée par des consignes de tâches).
3. Appel de fonction vocale : associer « l’instruction vocale » à la définition de l’outil, qui convient au flux de travail de contrôle vocal et aux actions métier.
4. Style vocal et expression émotionnelle : Renforcer la cohérence de l’émotion et du ton dans le scénario du « dialogue vocal » (il faut combiner la configuration de la synthèse et la vérification des données).
5. Démonstration du produit : L’entrepôt propose une démo web (incluant serveur et front-end) pour la vérification des interactions et l’affichage.

5. Écologie et produits concurrents

1. Écosystème : Le projet est basé sur l’écosystème Transformers et reconnaît/cite des composants open source ou des travaux connexes tels que LlamaFactory, Moshi et CosyVoice dans le dépôt.
2. Orientation des produits concurrents : Les différences courantes entre des solutions similaires de « parole à parole/dialogue vocal » sont le degré de bout en bout, la latence, la contrôlabilité (format d’appel de fonction/outil) et le support des styles multilingues et émotionnels ; Il est recommandé d’utiliser vos données de scénario cible (bruit, accent, audio long, terminologie métier) pour l’évaluation de l’alignement avant la sélection.

6. Limitations et précautions

1. Puissance de calcul et coûts d’ingénierie : Le seuil pour la mémoire vidéo d’inférence n’est pas bas, et les liaisons vocales de bout en bout impliquent également l’encodage et le décodage ainsi que l’E/S en temps réel.
2. Conformité au contenu vocal et confidentialité : Les entreprises réelles doivent clarifier les autorisations d’enregistrement, les politiques de stockage et les processus de désensibilisation.
3. Sécurité des appels de fonction : les définitions et permissions des outils doivent être strictement convergées pour éviter que les « commandes vocales » ne déclenchent des actions de dépassement.
4. Fluctuations d’effets : Différents microphones, bruits et accents affectent significativement la stabilité, il est donc recommandé d’ajouter un prétraitement et un enfoncement manuel.

7. Adresse du projet

https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B

8. Questions fréquemment posées

Q : Quelle quantité de mémoire vidéo Fun-Audio-Chat-8B nécessite-t-il pour l’inférence ?

R : La référence officielle donnée est d’environ 24 Go de mémoire vidéo ; Cela dépend vraiment de la précision, du lot, de la longueur audio et de la concurrence.

Q : Comment Fun-Audio-Chat-8B implémente-t-il la reconnaissance vocale et la reconnaissance vocale ?

R : Le dépôt fournit des scripts d’exemple pour infer_s2t.py (S2T) et infer_s2s.py (S2S), et vous pouvez les exécuter en préparant les poids et l’environnement tels que décrits.

Q : Pourquoi devrais-je télécharger Fun-CosyVoice3-0.5B-2512 pour Fun-Audio-Chat-8B ?

R : Le flux d’échantillons utilise un modèle de synthèse vocale pour convertir le texte/représentations intermédiaires en sortie finale de la parole.

Q : Le Fun-Audio-Chat-8B prend-il en charge d’autres langues que le chinois et l’anglais ?

R : La description de la divulgation indique qu’elle prend en charge l’anglais et le chinois ; L’adaptation à plus de langages nécessite souvent des données supplémentaires ainsi qu’une validation d’entraînement/ajustement fin.

Q : Le Fun-Audio-Chat-8B peut-il être utilisé comme assistant vocal de qualité production ?

R : Il peut servir de base pour la vérification et le développement secondaire, mais il est recommandé de réaliser la surveillance, l’optimisation de la latence, la sécurité du contenu, le contrôle des permissions et l’évaluation des données métier.