Points clés :
- Excellence open-source : GLM-TTS atteint le taux d'erreur de caractères (CER) le plus bas (0.89) parmi les modèles TTS open-source tout en maintenant une haute similarité du locuteur.
- Capacité zero-shot : Clonez n'importe quelle voix avec seulement 3 à 10 secondes d'audio de référence, sans nécessiter d'entraînement.
- Émotion améliorée par RL : Un cadre d'apprentissage par renforcement multi-récompenses offre une parole plus naturelle et expressive que les systèmes TTS traditionnels.
- Prêt pour la production : Prend en charge l'inférence en flux continu, le traitement bilingue (chinois/anglais) et un contrôle de prononciation au niveau phonétique.
- Développement actif : Publié le 11 décembre 2025, avec des mises à jour continues incluant un vocodeur Vocos 2D et des poids optimisés par RL.
Qu'est-ce que GLM-TTS ?
GLM-TTS (Generative Language Model - Text-to-Speech) est un système de synthèse vocale de pointe open-source développé par le CogAudio Group de Zhipu AI. Lancé en décembre 2025, il représente une avancée significative dans la technologie de clonage vocal en combinant un grand modèle de langage avec une optimisation par apprentissage par renforcement.
Innovation fondamentale
Contrairement aux systèmes TTS traditionnels qui peinent à exprimer les émotions, GLM-TTS introduit un cadre d'apprentissage par renforcement multi-récompenses évaluant la parole générée selon plusieurs dimensions :
- Qualité audio et naturel
- Similarité du locuteur
- Expression émotionnelle
- Précision de prononciation (CER)
- Prosodie et rythme
Avantage clé : L'optimisation par RL permet d'atteindre un CER de 0.89 - le meilleur parmi les modèles open-source, comparable aux systèmes commerciaux comme MiniMax (0.83 CER).
Principales fonctionnalités
1. Clonage vocal zero-shot
Définition : Cloner la voix de n'importe quel locuteur sans entraînement ni ajustement fin.
Prérequis :
- 3 à 10 secondes d'audio de référence
- Aucun entraînement spécifique au locuteur requis
- Fonctionne avec tout échantillon vocal
2. Contrôle émotionnel par apprentissage par renforcement
Le système utilise l'algorithme GRPO (Group Relative Policy Optimization) avec plusieurs fonctions de récompense pour guider la génération vers une parole plus expressive.
3. Contrôle au niveau phonétique (Phonème-in)
Problème résolu : Ambiguïté de prononciation des caractères polyphones et rares.
Exemple : Le caractère chinois "行" peut se prononcer xíng ou háng selon le contexte.
Solution : Mécanisme d'entrée mixte phonème + texte. Le processus typique implique :
- Une conversion globale graphème-vers-phonème (G2P)
- Une recherche dynamique dans un dictionnaire pour les polyphones
- Un remplacement des phonèmes cibles
- La génération d'une entrée mixte
4. Support de l'inférence en flux continu
Génère l'audio en temps réel, adaptée aux applications interactives avec un faible délai de traitement.
5. Support bilingue
Principalement chinois, avec un support secondaire pour l'anglais, incluant une capacité de traitement du texte mixte et une normalisation pour les deux langues.
Architecture détaillée du système
GLM-TTS utilise une architecture complexe en deux phases :
Phase 1 : Génération de tokens basée sur LLM
Modèle : Architecture basée sur Llama.
Entrée : Texte (annotations phonétiques optionnelles).
Sortie : Séquence de tokens vocaux.
Modes supportés : Pré-entraînement (PRETRAIN), Ajustement fin supervisé (SFT), et LoRA.
Phase 2 : Synthèse de forme d'onde via Flow Matching
Composants :
- DiT (Diffusion Transformer) : Convertit les tokens en spectrogramme mel.
- Vocodeur : Génère la forme d'onde audio finale (actuellement Vocos).
Spécifications techniques : Nécessite environ 8 Go de VRAM pour l'inférence, supporte Python 3.10 à 3.12, et la taille du modèle totalise plusieurs Go.
Comment l'apprentissage par renforcement améliore le TTS ?
Les systèmes TTS traditionnels produisent souvent une parole plate et sans émotion. GLM-TTS résout ce problème via un cadre RL multi-récompenses. Le processus d'entraînement GRPO comprend :
- Génération : Le modèle produit plusieurs candidats de parole pour un même texte.
- Évaluation des récompenses : Un serveur de récompenses distribué évalue chaque candidat via plusieurs fonctions (similarité, CER, émotion, rire).
- Optimisation de la politique : L'algorithme GRPO compare les candidats au sein de chaque groupe et met à jour la politique du LLM pour favoriser les générations à récompense élevée.
Améliorations mesurables : Le modèle optimisé par RL (GLM-TTS_RL) réduit le CER de 1.03 à 0.89 (une amélioration de 13.6%) et augmente la similarité du locuteur de 76.1 à 76.4, tout en offrant une expression émotionnelle qualitativement supérieure.
Tests de performance
Sur le jeu de test chinois Seed-TTS-Eval, GLM-TTS_RL établit un nouveau standard open-source :
| Modèle | CER ↓ | SIM ↑ | Open-source |
|---|---|---|---|
| GLM-TTS_RL | 0.89 | 76.4 | Oui |
| GLM-TTS Base | 1.03 | 76.1 | Oui |
| F5-TTS | 1.53 | 76.0 | Oui |
| MiniMax (Commercial) | 0.83 | 78.3 | Non |
| Seed-TTS (Commercial) | 1.12 | 79.6 | Non |
Constat clé : GLM-TTS_RL mène parmi tous les modèles open-source en termes de précision de prononciation (CER) et dépasse de manière significative les alternatives open-source.
Installation et démarrage rapide
Prérequis : Python 3.10, 3.11 ou 3.12, environ 8 Go de VRAM pour l'inférence, Git et pip installés.
Étape 1 : Cloner le dépôt
git clone https://github.com/zai-org/GLM-TTS.git
cd GLM-TTS
Étape 2 : Installer les dépendances
pip install --requirements requirements.txt
Problème courant sous Linux : Des erreurs avec WeTextProcessing/cython/pynini. Solution :
# Commenter WeTextProcessing dans requirements.txt, puis :
pip install --requirements requirements.txt
pip install WeTextProcessing soxr
Étape 3 : Télécharger les modèles pré-entraînés
Via HuggingFace :
mkdir -p ckpt
pip install -U huggingface_hub
huggingface-cli download zai-org/GLM-TTS --local-dir ckpt
Étape 4 : Lancer l'inférence
En ligne de commande :
python glmtts_inference.py --data=example_zh --exp_name=mon_test --use_cache
# Ajouter le drapeau --phoneme pour un contrôle phonétique
Via l'interface web Gradio :
python tools/gradio_app.py
Cas d'utilisation et applications
- Création de contenu : Livres audio, podcasts, doublage vidéo avec un clonage vocal cohérent.
- Technologies éducatifs : Modélisation précise de la prononciation pour l'apprentissage des langues et les évaluations.
- Accessibilité : Sortie vocale plus naturelle pour les lecteurs d'écran et la communication augmentative.
- Divertissement : Voix de personnages de jeu, avatars virtuels, narration interactive.
- Applications d'entreprise : Robots de service client, systèmes IVR, supports de formation.
Comparaison avec d'autres modèles TTS
GLM-TTS vs. modèles open-source (ex: CosyVoice2, F5-TTS)
Avantages de GLM-TTS : CER significativement inférieur grâce à l'optimisation RL, architecture LLM+Flow, contrôle phonétique granulaire.
GLM-TTS vs. modèles commerciaux (ex: Seed-TTS, MiniMax, ElevenLabs)
Avantages de GLM-TTS : Entièrement open-source, auto-hébergeable, sans coût API, contrôle total des données, personnalisable.
Avantages des modèles commerciaux : CER légèrement meilleur (MiniMax : 0.83), scores de similarité supérieurs (Seed-TTS : 79.6), infrastructure gérée.
Dépannage et questions fréquentes (FAQ)
Q : Quelles langues sont supportées ?
A : Principalement chinois, avec un support secondaire pour l'anglais. Le traitement de texte mixte est possible. Le tokenizer est optimisé pour le pinyin.
Q : Combien de VRAM est nécessaire ?
A : Environ 8 Go de VRAM pour l'inférence complète du pipeline. L'inférence sur CPU est possible mais plus lente.
Q : Puis-je affiner le modèle pour une voix ou une langue spécifique ?
A : Oui, via LoRA (ajustement fin efficace), SFT (ajustement fin supervisé) ou le mode pré-entraînement. Des fichiers de configuration sont fournis, mais des tutoriels détaillés manquent encore.
Q : GLM-TTS convient-il aux applications en temps réel ?
A : Oui, grâce à son support de l'inférence en flux continu. La latence réelle dépend des ressources matérielles.
Q : Comment contrôler la prononciation d'un mot spécifique ?
A : Utilisez le mécanisme Phonème-in : activez le mode phonème (--phoneme), utilisez un format d'entrée mixte, ou configurez des règles de remplacement personnalisées dans configs/custom\_replace.jsonl. Particulièrement utile pour les polyphones et les termes techniques.
Q : Quelle est la différence entre GLM-TTS et GLM-TTS_RL ?
A : GLM-TTS (base) est le modèle pré-entraîné sans optimisation RL. GLM-TTS_RL est la même architecture après optimisation par apprentissage par renforcement multi-récompenses, offrant un CER inférieur (0.89 vs 1.03), une similarité légèrement supérieure et une expressivité émotionnelle accrue. Pour la production, GLM-TTS_RL est recommandé.
Problèmes courants
- Défaillances d'installation sous Linux : Voir la solution pour WeTextProcessing ci-dessus.
- Acronymes étendus dans la sortie : Le modèle est entraîné pour étendre les contractions (ex: "I'm" → "I am"). Pré-traiter le texte ou accepter ce comportement.
- Sortie anglaise avec un accent chinois : Comportement attendu car le modèle est principalement entraîné sur des données chinoises. Utiliser un audio de référence de locuteur natif anglais comme solution de contournement.
- Personnages spéciaux perturbent la sortie : Pré-traiter le texte pour supprimer ou remplacer les caractères spéciaux problématiques.
Bonnes pratiques
Sélection de l'audio de référence
À faire : Utiliser un audio propre, de haute qualité (16kHz+), d'une durée de 3 à 10 secondes, avec un volume constant et un seul locuteur.
À éviter : L'audio bruité, multi-locuteur, musical ou fortement compressé.
Préparation du texte
À faire : Normaliser le texte, utiliser une ponctuation appropriée pour la prosodie, étendre les abréviations.
À éviter : Inclure du formatage Markdown/HTML, mélanger trop de langues dans une même phrase.
Optimisation des performances
Utiliser le cache (--use\_cache), traiter les textes par lots, choisir un GPU CUDA, et sélectionner le modèle (base vs RL) en fonction du besoin.
Structure du projet
GLM-TTS/
├── glmtts_inference.py # Point d'entrée principal
├── configs/ # Fichiers de configuration (dictionnaires de locuteurs, G2P, règles custom)
├── llm/ # Implémentation du LLM
├── flow/ # Modèle Flow et DiT (dont le support du flux continu dans flow.py)
├── grpo/ # Composants d'apprentissage par renforcement (GRPO, fonctions de récompense)
├── cosyvoice/cli/ # Pré-traitement texte/audio (frontend.py)
├── frontend/ # Modèle CamPlus ONNX pour l'embedding du locuteur
└── tools/ # Application Gradio et outils audio
Composants clés à explroer : glmtts\_inference.py (personnalisation), utils/glm\_g2p.py (contrôle phonétique), grpo/train\_ds\_grpo.py (entraînement RL), flow/flow.py (flux continu).